Исследователи из North Carolina State University проанализировали проблему безопасности в больших языковых моделях, которые часто дают советы и пошаговые инструкции. Корреспондирующий автор Джунг-Ын Ким подчеркнула, что модели не должны побуждать людей к самоубийству или давать информацию, которую можно использовать для причинения вреда другим. Команда выделила два ключевых ограничения текущих подходов к безопасности.
Первое — так называемый «alignment tax»: донастройка на безопасность иногда снижает общую точность модели. Второе — поверхностное согласование безопасности: модель принимает бинарное решение «безопасно/небезопасно» в самом начале генерации. Аспирант Цзянвэй Ли привёл пример с запросом об украденных деньгах: прямой запрос вероятно отклонится, но та же просьба, обоснованная как помощь людям, может быть выполнена. Кроме того, донастройка под конкретную область может ослабить меры безопасности.
Исследователи сформулировали гипотезу поверхностного согласования безопасности (Superficial Safety Alignment Hypothesis, SSAH) и нашли конкретные нейронные компоненты, критичные для решений о отказе или выполнении запроса. Они показали, что «замораживание» этих компонентов при донастройке позволяет сохранить первоначальное поведение по безопасности и одновременно обучать модель новым задачам, что помогает снизить alignment tax.
Команда отметила, что работа даёт и концептуальную основу, и практическую технику, и подчеркнула необходимость методов, которые позволяли бы моделям переоценивать безопасность на протяжении всей генерации ответа. Исследование будет представлено на конференции ICLR2026; код и дополнительная информация доступны на https://ssa-h.github.io/. Источник: North Carolina State University.
Сложные слова
- донастройка — дополнительное обучение модели на специализированных данных
- поверхностное согласование безопасности — решение о безопасности без глубокого внутреннего анализа
- гипотеза — предположение о явлении, которое нужно проверитьгипотезу
- компонент — отдельная часть сети искусственных нейроновнейронные компоненты
- замораживание — остановка обновления части параметров модели при обучении«замораживание»
- отказ — решение не выполнять запрос или просьбуотказе
- переоценивать — оценивать заново уровень риска или безопасности
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие потенциальные опасности создаёт поверхностное согласование безопасности в реальном использовании моделей? Приведите примеры.
- Какие плюсы и минусы вы видите в подходе с «замораживанием» нейронных компонентов при донастройке?
- Почему доступность кода и дополнительной информации (как указано в статье) важна для развития методов безопасности?
Похожие статьи
Анализ крови на основе ИИ помогает отличать деменцию
Учёные разработали анализ крови, основанный на искусственном интеллекте, который может отличать распространённые причины деменции от нормального старения. Тест показал высокую точность, но для клинического применения нужны дополнительные исследования.
Как взгляд на сбережения влияет на счастье в браке
Исследование Университета Джорджии показало, что пары, которые видят друг друга как сберегателей, чаще сообщают о большем супружеском счастье и лучшем финансовом благополучии. Авторы отмечают: важны восприятие и разговоры о деньгах.
Снижение активности мозговой цепи уменьшает рецидив при опиоидах
Учёные нашли связь между прелимбической корой и паравентрикулярным ядром таламуса. Снижение активности этого пути в доклинической модели заметно уменьшало поведение по поиску наркотика, а оптический метод дал сильный эффект.
