Dùng hành vi bầy chim để giảm lỗi AI khi tóm tắt ^{CEFR B2}

Nhóm tại New York University do Anasse Bari dẫn đầu, cùng đồng tác giả Binxu Huang, công bố một khuôn khổ thuật toán trên tạp chí Frontiers in Artificial Intelligence nhằm giảm lỗi thông tin sai (hallucination) khi các mô hình ngôn ngữ lớn tạo tóm tắt cho tài liệu dài. Họ thiết kế khuôn khổ này như bước tiền xử lý để cung cấp đầu vào ngắn gọn, đa dạng và đại diện hơn cho LLMs.

Quy trình có hai giai đoạn rõ rệt. Ở giai đoạn đầu, hệ thống làm sạch câu bằng cách giữ lại danh từ, động từ và tính từ, đồng thời gộp các cụm nhiều từ để bảo toàn khái niệm. Mỗi câu được biểu diễn bằng một véc-tơ hòa trộn các đặc trưng từ vựng, ngữ nghĩa và chủ đề, rồi được chấm điểm theo ba tiêu chí chính:

• Độ trung tâm trên toàn văn bản
• Tầm quan trọng ở từng phần
• Sự phù hợp với phần tóm tắt

Phần chấm điểm cũng tăng trọng số số học cho các đoạn quan trọng như Giới thiệu, Kết quả và Kết luận. Ở giai đoạn hai, khuôn khổ áp dụng nguyên tắc bầy đàn—kết dính, định hướng và phân tách—để nhóm các câu tương tự, xác định câu lãnh đạo và câu theo, rồi chọn các câu có điểm cao nhất từ mỗi đàn. Cách này giảm trùng lặp nhưng vẫn đảm bảo bao phủ ngữ cảnh, phương pháp, kết quả và kết luận; sau khi sắp xếp lại, các câu được đưa vào LLM để tạo bản tóm tắt mạch lạc dựa trên nguồn gốc.

Nhóm thử nghiệm phương pháp trên hơn 9.000 tài liệu và ghi nhận các bản tóm tắt khi kết hợp khuôn khổ với LLMs đạt độ chính xác thực tế cao hơn so với LLMs hoạt động một mình. Bari nhấn mạnh: "Mục tiêu là giúp AI tạo ra các bản tóm tắt bám sát hơn vào nguồn gốc." Các tác giả lưu ý phương pháp có thể giảm rủi ro hallucination nhưng không loại bỏ hoàn toàn.