Крупные языковые модели используют для разных задач, в том числе для советов и инструкций, поэтому важна их безопасность. Учёные из North Carolina State University изучили, как достигается безопасность в таких моделях и как её улучшить.
Команда обнаружила две основные проблемы. Во‑первых, обучение безопасности иногда снижает точность модели — это называют «alignment tax». Во‑вторых, многие модели делают быструю поверхностную проверку безопасности, которую можно обойти. Пример: просьба о краже денег обычно отклоняется, но та же просьба, поданная как помощь людям, может получить ответ.
Исследователи предложили гипотезу SSAH и нашли нейронные компоненты, важные для решений о безопасности. Они показали, что замораживание этих компонентов при донастройке помогает сохранить безопасность и уменьшить потерю точности. Результаты представят на ICLR2026, код опубликован на https://ssa-h.github.io/.
Сложные слова
- безопасность — состояние без вреда или риска
- точность — насколько правильно модель делает прогнозы
- донастройка — изменение модели после начального обучениядонастройке
- замораживание — остановка изменения части параметров модели
- гипотеза — идея или предположение для объяснения явлениягипотезу
- поверхностный — не глубокий, быстрый и простойповерхностную
- обойти — найти способ не выполнять правило или защиту
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по‑вашему, важна безопасность языковых моделей?
- Почему простую проверку безопасности иногда можно обойти?
- Считаете ли вы, что замораживание компонентов модели — хорошая идея? Почему?
Похожие статьи
ИИ, который понимает, почему работают заголовки
Исследование Йельской школы менеджмента показывает: генеративный ИИ, который учится объяснять, почему заголовки привлекают внимание, создаёт более вовлекающий и заслуживающий доверия контент. Авторы проверяли метод на данных и тестах с людьми.
Бежевый жир влияет на артериальное давление
Новое исследование показывает, что бежевый жир контролирует давление через влияние на сосуды. У мышей потеря бежевой идентичности привела к фиброзу вокруг сосудов, повышению давления и выявила фермент QSOX1 как возможную мишень для терапии.
Кони Ншемерейрве о науке и образовании в Африке
Кони Ншемерейрве — специалист по оценке образования и бывшая инженер. Она говорит, что исследования в Африке должны формироваться местными сообществами и отмечает последствия длительного закрытия школ в Уганде для детей и подростков.
Пожары в Лос‑Анджелесе в январе 2025 и рост виртуальной помощи
Исследование изучило влияние январских пожаров 2025 года в Лос‑Анджелесе на обращаемость за медицинской помощью. Авторы нашли значительный рост виртуальных визитов по респираторным и сердечно‑сосудистым симптомам и увеличение амбулаторных приёмов.