Penelitian dari University of Zurich menyelidiki pengaruh atribusi pengarang terhadap penilaian large language models. Federico Germani dan Giovanni Spitale menguji empat model yang banyak digunakan: OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2, dan Mistral. Setiap model menghasilkan lima puluh pernyataan naratif pada 24 topik kontroversial, lalu para peneliti mengumpulkan 192’000 penilaian untuk analisis.
Ketika tidak ada informasi tentang sumber, model-model itu menunjukkan tingkat kesepakatan yang tinggi, lebih dari 90% untuk semua topik. Namun ketika teks diatribusikan pada pengarang fiksi atau diberi label kebangsaan, pola berubah. Menyebut identitas pengarang menimbulkan bias yang kuat: tingkat kesepakatan antar sistem turun tajam meski isi teks tetap identik. Hasil paling menonjol adalah bias anti-Cina yang muncul di semua model.
Contoh spesifik menunjukkan konsekuensinya: pada topik geopolitik seperti kedaulatan Taiwan, Deepseek menurunkan kesepakatan hingga 75% hanya karena mengharapkan orang Cina memiliki pandangan berbeda. Studi ini juga menemukan kecenderungan bahwa model lebih percaya pada penulis manusia daripada pada teks yang dianggap ditulis oleh AI.
Para peneliti memperingatkan bahwa bias tersembunyi ini relevan untuk aplikasi nyata seperti moderasi konten, perekrutan, penelaahan akademik, dan jurnalisme. Germani dan Spitale menekankan perlunya transparansi dan tata kelola agar asumsi berbahaya tidak direplikasi oleh AI. Mereka merekomendasikan memakai LLM sebagai pembantu penalaran, bukan sebagai pengadil. Hasil penelitian ini dipublikasikan di Sciences Advances dan berasal dari University of Zurich.
Kata-kata sulit
- atribusi — menentukan atau menyebutkan sumber suatu teks
- penilaian — pendapat atau evaluasi tentang sesuatu
- kesepakatan — tingkat persetujuan antar pihak atau sistem
- bias — kecenderungan tidak netral terhadap suatu kelompok
- transparansi — keterbukaan informasi tentang proses atau keputusan
- tata kelola — aturan dan pengawasan untuk penggunaan atau teknologi
- moderasi — proses meninjau dan mengendalikan konten publik
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Mengapa menyebut identitas pengarang dapat mengubah penilaian model meski teksnya sama?
- Apa dampak bias seperti anti-Cina pada aplikasi nyata yang disebutkan dalam teks (mis. moderasi konten atau perekrutan)?
- Langkah apa yang bisa meningkatkan transparansi dan tata kelola agar asumsi berbahaya tidak direplikasi oleh AI?
