Учёные сохраняют безопасность больших языковых моделей ^{CEFR B1}

Крупные языковые модели (LLM) часто используются для советов и инструкций, поэтому важно предотвращать опасные или вредные ответы. Исследователи из North Carolina State University изучили существующие подходы к обучению безопасности и протестировали новые методы донастройки, чтобы уменьшить число опасных ответов без потери качества.

Команда выделила две основные проблемы: обучение безопасности может снижать точность модели — явление, названное «alignment tax» — и многие модели полагаются на поверхностную проверку безопасности, решая в самом начале, безопасен ли запрос. При такой проверке одна и та же просьба может получить разные ответы в зависимости от формулировки; донастройка под конкретную область также может ослабить меры безопасности.

Учёные предложили гипотезу поверхностного согласования безопасности (SSAH). Они нашли конкретные нейронные компоненты, которые влияют на отказ или выполнение запроса, и показали, что замораживание этих компонентов при донастройке сохраняет исходное поведение по безопасности, одновременно обучая модель новым задачам. Исследование будет представлено на ICLR2026, код доступен на https://ssa-h.github.io/ (источник: North Carolina State University).