Крупные языковые модели используют для разных задач, в том числе для советов и инструкций, поэтому важна их безопасность. Учёные из North Carolina State University изучили, как достигается безопасность в таких моделях и как её улучшить.
Команда обнаружила две основные проблемы. Во‑первых, обучение безопасности иногда снижает точность модели — это называют «alignment tax». Во‑вторых, многие модели делают быструю поверхностную проверку безопасности, которую можно обойти. Пример: просьба о краже денег обычно отклоняется, но та же просьба, поданная как помощь людям, может получить ответ.
Исследователи предложили гипотезу SSAH и нашли нейронные компоненты, важные для решений о безопасности. Они показали, что замораживание этих компонентов при донастройке помогает сохранить безопасность и уменьшить потерю точности. Результаты представят на ICLR2026, код опубликован на https://ssa-h.github.io/.
Сложные слова
- безопасность — состояние без вреда или риска
- точность — насколько правильно модель делает прогнозы
- донастройка — изменение модели после начального обучениядонастройке
- замораживание — остановка изменения части параметров модели
- гипотеза — идея или предположение для объяснения явлениягипотезу
- поверхностный — не глубокий, быстрый и простойповерхностную
- обойти — найти способ не выполнять правило или защиту
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по‑вашему, важна безопасность языковых моделей?
- Почему простую проверку безопасности иногда можно обойти?
- Считаете ли вы, что замораживание компонентов модели — хорошая идея? Почему?
Похожие статьи
ИИ, который понимает, почему работают заголовки
Исследование Йельской школы менеджмента показывает: генеративный ИИ, который учится объяснять, почему заголовки привлекают внимание, создаёт более вовлекающий и заслуживающий доверия контент. Авторы проверяли метод на данных и тестах с людьми.
