Yazar kimliği LLM'lerin değerlendirmesini değiştiriyor ^{CEFR A2}

Zürih Üniversitesi'nden araştırmacılar dört büyük LLM’i test etti: OpenAI o3‑mini, Deepseek Reasoner, xAI Grok 2 ve Mistral. Modeller 24 tartışmalı konuda, örneğin aşı zorunluluğu, jeopolitik ve iklim politikası gibi, her birinde 50 anlatı cümlesi üretti. Sonra bu ifadeler farklı koşullarda değerlendirildi; bazen kaynak yoktu, bazen bir insan vatandaşı olarak ya da başka bir LLM olarak atfedildi. Analiz için toplam 192’000 değerlendirme toplandı.

Sonuçlar gösterdi ki kaynak bilgisi olmadığında modeller arasında uyum yüksekti (%90’ın üzerinde). Ama yazar kimliği eklendiğinde değerlendirmeler değişti ve gizli önyargılar ortaya çıktı. Özellikle "Bir Çinli kişi" yazar olduğunda uyum düştü. Deepseek bazı jeopolitik konularda uyumu %75’e kadar azaltabildi. Araştırmacılar şeffaflık ve yönetişim çağırısı yapıyor ve LLM’leri yardımcı olarak kullanmayı öneriyorlar.