Команда Нью‑Йоркского университета под руководством Anasse Bari совместно с Binxu Huang разработала алгоритмическую рамку в виде этапа предобработки для LLM. Цель — дать модели более репрезентативный и менее избыточный входный набор перед генерацией итогового резюме.
Каждое предложение документа рассматривается как «виртуальная птица». На этапе подготовки из предложений сохраняют ключевые части речи и объединяют многословные термины, затем переводят предложения в числовые векторы с лексическими, семантическими и тематическими признаками. Предложения получают оценки по центральности, важности раздела и соответствию аннотации.
Дальше применяются принципы стайного поведения — когезия, выравнивание и разделение — чтобы группировать похожие предложения, формировать лидеров и партнёров и выбирать лучшие фразы. Авторы протестировали подход на большом наборе документов и показали улучшение фактической точности по сравнению с LLM без предобработки. Метод снижает риск галлюцинаций, но не устраняет его полностью.
Сложные слова
- предобработка — подготовка данных перед основной обработкой моделипредобработки
- репрезентативный — хорошо представляющий содержание или данные
- избыточный — содержащий лишнюю, ненужную информацию и повторения
- вектор — числовая запись текста или предложениявекторы
- семантический — связанный с смыслом слов и фразсемантическими
- центральность — мера того, насколько важна фразацентральности
- стайный — поведение группы объектов по похожим правиламстайного
- когезия — связность элементов внутри группы или текста
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по вашему мнению, важно объединять многословные термины перед созданием резюме?
- Какие преимущества и возможные недостатки вы видите в применении принципов стайного поведения к текстам?
- Могла бы такая предобработка помочь вам в учёбе или работе? Почему да или почему нет?
Похожие статьи
У билингвов грамматика работает в одной нейронной системе
Исследование Нью-Йоркского университета показывает: у носителей английского и испанского грамматические вычисления выполняет одна нейронная система. Это проявляется и при обработке знакомых слов, и при работе с выдуманными псевдословами.
Присутствие людей меняет поведение диких животных
Новое крупное исследование показало, что простое присутствие людей меняет передвижения и поведение диких животных по всей территории США. Это влияет на планы охраны природы и требует целевых мер по сокращению беспокойства в важных местах.
