Учёные сохраняют безопасность больших языковых моделей ^{CEFR B2}

Исследователи из North Carolina State University проанализировали проблему безопасности в больших языковых моделях, которые часто дают советы и пошаговые инструкции. Корреспондирующий автор Джунг-Ын Ким подчеркнула, что модели не должны побуждать людей к самоубийству или давать информацию, которую можно использовать для причинения вреда другим. Команда выделила два ключевых ограничения текущих подходов к безопасности.

Первое — так называемый «alignment tax»: донастройка на безопасность иногда снижает общую точность модели. Второе — поверхностное согласование безопасности: модель принимает бинарное решение «безопасно/небезопасно» в самом начале генерации. Аспирант Цзянвэй Ли привёл пример с запросом об украденных деньгах: прямой запрос вероятно отклонится, но та же просьба, обоснованная как помощь людям, может быть выполнена. Кроме того, донастройка под конкретную область может ослабить меры безопасности.

Исследователи сформулировали гипотезу поверхностного согласования безопасности (Superficial Safety Alignment Hypothesis, SSAH) и нашли конкретные нейронные компоненты, критичные для решений о отказе или выполнении запроса. Они показали, что «замораживание» этих компонентов при донастройке позволяет сохранить первоначальное поведение по безопасности и одновременно обучать модель новым задачам, что помогает снизить alignment tax.

Команда отметила, что работа даёт и концептуальную основу, и практическую технику, и подчеркнула необходимость методов, которые позволяли бы моделям переоценивать безопасность на протяжении всей генерации ответа. Исследование будет представлено на конференции ICLR2026; код и дополнительная информация доступны на https://ssa-h.github.io/. Источник: North Carolina State University.