Dil Modelleri Gerçek Dünyayı Anlıyor mu? ^{CEFR B1}

Araştırmacılar modern dil modellerinin gerçek dünyayı herhangi bir düzeyde anlayıp anlamadığını test etti. Çalışma Brown Üniversitesi'nden bir ekip tarafından yapıldı ve Rio de Janeiro'daki International Conference on Learning Representations'ta sunuldu. Çalışmayı yöneten Michael Lepori, dil modellerinin gerçek dünyanın nedensel kısıtlarını kodladığına dair bazı kanıtlar bulduklarını söyledi ve modellerin bu kısıtları insan yargılarını öngörecek şekilde kodladığını ekledi.

Deney için ekip, yaygın, düşük olasılıklı, imkânsız ve anlamsız olayları tanımlayan cümleler sundu. Örnekler "Birisi bir içeceği buzla soğuttu", "...karla soğuttu", "...ateşle soğuttu" ve "...dünle soğuttu" gibi cümleleri içeriyordu. Her cümlede modellerin içsel matematiksel durumları incelendi; bu yaklaşım mekanistik yorumlama olarak adlandırılıyor.

Çalışma GPT‑2, Llama 3.2 ve Gemma 2 gibi açık kaynak modeller üzerinde yapıldı. Araştırmacılar, yeterince büyük modellerin olasılık kategorilerine karşılık gelen belirgin iç vektörler geliştirdiğini ve bu vektörlerin kategorileri yaklaşık %85 doğrulukla ayırt edebildiğini buldu. Ayrıca bu vektörler insan anketlerindeki bölünmüş yargılarla örtüştü. Bulgular, daha güvenilir modeller geliştirmek için yol gösterebilir.