Yazar kimliği LLM'lerin değerlendirmesini değiştiriyor ^{CEFR B2}

Zürih Üniversitesi’nden Federico Germani ve Giovanni Spitale’nin çalışması, bir metnin içeriği değiştirilmese bile yazar kimliği bilgisinin büyük dil modellerinin (LLM) değerlendirmelerini nasıl etkilediğini gösteriyor. Çalışmada OpenAI o3‑mini, Deepseek Reasoner, xAI Grok 2 ve Mistral test edildi. Her model 24 tartışmalı konuda 50 anlatı cümlesi üretti; örnek konular arasında aşı zorunlulukları, jeopolitik ve iklim politikaları vardı. Değerlendirmeler farklı koşullarda yapıldı: bazen kaynak belirtilmedi, bazen metin bir ülke vatandaşı olan bir insana veya başka bir LLM’ye atfedildi. Toplam 192’000 değerlendirme analiz edildi.

Kaynak bilgisi yokken modeller arasında yüksek düzeyde uyum vardı; tüm konularda uyum oranı %90’ın üzerindeydi. Ancak kurmaca yazar kimliği eklendiğinde bu örüntü değişti ve derin gizli önyargılar açığa çıktı. En çarpıcı sonuç, Deepseek dahil tüm modellerde görülen güçlü Çin karşıtı önyargıydı: "Bir Çinli kişi" yazar olarak verildiğinde uyum belirgin biçimde düştü. Germani, bu daha az olumlu yargının argüman mantıklı ve iyi yazılmış olsa bile ortaya çıktığını vurguladı.

Çalışma ayrıca Deepseek’in Tayvan’ın egemenliği gibi bazı jeopolitik konularda uyumu %75’e kadar azaltabildiğini gösterdi. Genel olarak modeller, metnin bir insan tarafından yazıldığını düşündüklerinde diğer yapay zekâ kaynaklı metinlere göre biraz daha yüksek güven gösterdi; aksi durumda uyum puanları düştü. Spitale bunu "makine tarafından üretilen içeriğe karşı yerleşik bir güvensizlik" olarak nitelendirdi. Araştırmacılar, bu gizli önyargıların içerik denetimi, işe alım, akademik değerlendirme ve gazetecilik gibi uygulamalarda önemli etkileri olabileceği uyarısında bulunuyor ve şeffaflık ile yönetişim çağrısı yapıyorlar. İkili, LLM’lerin akıl yürütmeyi destekleyecek yardımcılar olarak kullanılmasını; yargıçlar olarak değil, "yararlı yardımcılar ama asla yargıçlar" şeklinde kullanılmasını öneriyor. Araştırma Science Advances dergisinde yayımlandı.