Языковые модели учатся различать правдоподобие ^{CEFR B2}

Исследователи проверили, понимают ли современные языковые модели реальные свойства мира, учитывая, что большинство чат‑ботов обучаются на больших объёмах интернет‑текстов с фактами, ошибками и бессмыслицей. Работу подготовили сотрудники Браунского университета и представили на конференции International Conference on Learning Representations в Рио‑де‑Жанейро. Руководитель проекта, докторант Майкл Лепори, описал подход как попытку найти в моделях ограничения, похожие на причинные законы, и отметил, что внутренние состояния моделей предсказывают человеческие суждения.

В эксперименте команде показали предложения с событиями разной правдоподобности: привычные, маловероятные, невозможные и бессмысленные — например, «Кто‑то охладил напиток льдом», «...снегом», «...огнём», «...вчерашним днём». Для каждого предложения анализировали математические внутренние состояния модели; этот метод называют механистической интерпретируемостью и Лепори сравнил его с «нейронаукой для систем ИИ».

Эксперименты провели на нескольких открытых моделях, включая GPT‑2 (OpenAI), Llama 3.2 (Meta) и Gemma 2 (Google), чтобы не зависеть от одной архитектуры. Авторы нашли, что достаточно крупные модели формируют отдельные внутренние векторы, соответствующие категориям правдоподобия. Эти векторы умеют различать близкие категории, например маловероятное и невозможное, с примерно 85% точности и показывают разделённые суждения при двусмысленности, похожие на результаты опросов. Учёные отмечают, что такие векторы начинают появляться в моделях с более чем 2 миллиарда параметров, и полагают, что результаты могут помочь в создании более умных и надёжных моделей.

• Механистическая интерпретируемость позволяет понять, что кодирует модель.
• Внутренние векторы соответствуют человеческим суждениям о правдоподобии.
• Результаты могут помочь создать более надёжные модели.