Команда Нью‑Йоркского университета под руководством Anasse Bari совместно с Binxu Huang разработала алгоритмическую рамку в виде этапа предобработки для LLM. Цель — дать модели более репрезентативный и менее избыточный входный набор перед генерацией итогового резюме.
Каждое предложение документа рассматривается как «виртуальная птица». На этапе подготовки из предложений сохраняют ключевые части речи и объединяют многословные термины, затем переводят предложения в числовые векторы с лексическими, семантическими и тематическими признаками. Предложения получают оценки по центральности, важности раздела и соответствию аннотации.
Дальше применяются принципы стайного поведения — когезия, выравнивание и разделение — чтобы группировать похожие предложения, формировать лидеров и партнёров и выбирать лучшие фразы. Авторы протестировали подход на большом наборе документов и показали улучшение фактической точности по сравнению с LLM без предобработки. Метод снижает риск галлюцинаций, но не устраняет его полностью.
Сложные слова
- предобработка — подготовка данных перед основной обработкой моделипредобработки
- репрезентативный — хорошо представляющий содержание или данные
- избыточный — содержащий лишнюю, ненужную информацию и повторения
- вектор — числовая запись текста или предложениявекторы
- семантический — связанный с смыслом слов и фразсемантическими
- центральность — мера того, насколько важна фразацентральности
- стайный — поведение группы объектов по похожим правиламстайного
- когезия — связность элементов внутри группы или текста
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по вашему мнению, важно объединять многословные термины перед созданием резюме?
- Какие преимущества и возможные недостатки вы видите в применении принципов стайного поведения к текстам?
- Могла бы такая предобработка помочь вам в учёбе или работе? Почему да или почему нет?
Похожие статьи
Учёные сохраняют безопасность больших языковых моделей
Исследователи из North Carolina State University изучили, как улучшить безопасность больших языковых моделей. Они предложили метод замораживания критичных нейронов при донастройке, чтобы уменьшить опасные ответы и не потерять качество работы модели.
Учёные нашли скрытую регенерацию у млекопитающих
Исследование команды из Texas A&M, опубликованное в Nature Communications, показало, что у млекопитающих может сохраняться скрытая способность к регенерации. Учёные применили двухэтапное лечение факторами роста и восстановили кость и соединительные ткани.
Керала объявила Bacillus subtilis государственным микробом
Керала стала первой в Индии, кто официально признал Bacillus subtilis «государственным микроорганизмом». Решение подчёркивает пользу этой бактерии для здоровья, сельского хозяйства, охраны природы и адаптации к изменению климата.