Yazar kimliği LLM'lerin değerlendirmesini değiştiriyor ^{CEFR B1}

Federico Germani ve Giovanni Spitale tarafından yürütülen çalışma, bir metnin içeriği aynı kalırken yazar kimliği bilgisinin büyük dil modellerinin (LLM) verdiği yargıları nasıl etkilediğini inceledi. OpenAI o3‑mini, Deepseek Reasoner, xAI Grok 2 ve Mistral test edildi. Araştırmada modeller 24 tartışmalı konuda her biri için 50 anlatı cümlesi üretti ve farklı koşullarda bu ifadelerin değerlendirilmesi istendi. Toplamda 192’000 değerlendirme toplandı.

Kaynak belirtilmediğinde modeller arasında tüm konularda uyum %90’ın üzerindeydi. Ancak yazar kimliği gibi bilgiler eklendiğinde uyum keskin şekilde düştü ve derin gizli önyargılar ortaya çıktı. En belirgin örnek, tüm modellerde görülen Çin karşıtı eğilimdi; "Bir Çinli kişi" yazarı verildiğinde olumlu yargılar azaldı. Germani, bu daha az olumlu yargının argüman mantıklı ve iyi yazılmış olsa bile ortaya çıktığını belirtti.

Çalışma özellikle Deepseek’in Tayvan egemenliği gibi bazı jeopolitik konularda uyumu %75’e kadar azaltabildiğini gösterdi. Modeller insan yazarlara genellikle diğer yapay zekâlardan daha çok güveniyor. Spitale bu durumu "makine tarafından üretilen içeriğe karşı yerleşik bir güvensizlik" olarak tanımladı. Araştırmacılar şeffaflık ve yönetişim çağrısı yapıyor; LLM’leri yargıç yerine yararlı yardımcılar olarak kulanmayı öneriyorlar. Araştırma Science Advances dergisinde yayımlandı.