Исследователи предложили этап предобработки для больших языковых моделей (LLM). Этот этап даёт моделям более короткий и разнообразный вход перед созданием резюме.
Сначала программу очищают: сохраняют существительные, глаголы и прилагательные и объединяют многословные термины. Затем каждое предложение переводят в числовой вектор с лексическими и тематическими признаками. После этого применяется «стайное» поведение: похожие предложения группируют в кластеры и из каждой группы отбирают лучшие фразы. Отобранные предложения перестраивают в порядок и передают модели для синтеза итогового резюме.
Сложные слова
- предобработка — действия с текстом перед основной задачейпредобработки
- существительное — слово, которое обозначает предмет или человекасуществительные
- прилагательное — слово, которое описывает качество предметаприлагательные
- вектор — числа, которые представляют текст в модели
- кластер — группа похожих предложений или элементовкластеры
- группировать — собирать в группы по общему признакугруппируют
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие слова вы бы сохраняли при очистке текста для резюме?
- Почему, по вашему мнению, полезно группировать похожие предложения?
Похожие статьи
Учёные сохраняют безопасность больших языковых моделей
Исследователи из North Carolina State University изучили, как улучшить безопасность больших языковых моделей. Они предложили метод замораживания критичных нейронов при донастройке, чтобы уменьшить опасные ответы и не потерять качество работы модели.
Учёные нашли скрытую регенерацию у млекопитающих
Исследование команды из Texas A&M, опубликованное в Nature Communications, показало, что у млекопитающих может сохраняться скрытая способность к регенерации. Учёные применили двухэтапное лечение факторами роста и восстановили кость и соединительные ткани.
Керала объявила Bacillus subtilis государственным микробом
Керала стала первой в Индии, кто официально признал Bacillus subtilis «государственным микроорганизмом». Решение подчёркивает пользу этой бактерии для здоровья, сельского хозяйства, охраны природы и адаптации к изменению климата.