Model Bahasa Mengubah Penilaian Berdasarkan Identitas Pengarang ^{CEFR B2}

Penelitian dari University of Zurich menyelidiki pengaruh atribusi pengarang terhadap penilaian large language models. Federico Germani dan Giovanni Spitale menguji empat model yang banyak digunakan: OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2, dan Mistral. Setiap model menghasilkan lima puluh pernyataan naratif pada 24 topik kontroversial, lalu para peneliti mengumpulkan 192’000 penilaian untuk analisis.

Ketika tidak ada informasi tentang sumber, model-model itu menunjukkan tingkat kesepakatan yang tinggi, lebih dari 90% untuk semua topik. Namun ketika teks diatribusikan pada pengarang fiksi atau diberi label kebangsaan, pola berubah. Menyebut identitas pengarang menimbulkan bias yang kuat: tingkat kesepakatan antar sistem turun tajam meski isi teks tetap identik. Hasil paling menonjol adalah bias anti-Cina yang muncul di semua model.

Contoh spesifik menunjukkan konsekuensinya: pada topik geopolitik seperti kedaulatan Taiwan, Deepseek menurunkan kesepakatan hingga 75% hanya karena mengharapkan orang Cina memiliki pandangan berbeda. Studi ini juga menemukan kecenderungan bahwa model lebih percaya pada penulis manusia daripada pada teks yang dianggap ditulis oleh AI.

Para peneliti memperingatkan bahwa bias tersembunyi ini relevan untuk aplikasi nyata seperti moderasi konten, perekrutan, penelaahan akademik, dan jurnalisme. Germani dan Spitale menekankan perlunya transparansi dan tata kelola agar asumsi berbahaya tidak direplikasi oleh AI. Mereka merekomendasikan memakai LLM sebagai pembantu penalaran, bukan sebagai pengadil. Hasil penelitian ini dipublikasikan di Sciences Advances dan berasal dari University of Zurich.