Peneliti dari Yale School of Management — Tong Wang dan K. Sudhir bersama peneliti pra-doktoral Hengguang Zhou — mengembangkan metode untuk membuat model bahasa besar (LLM) yang belajar alasan di balik efektivitas judul, bukan sekadar meniru kata-kata yang mendapat klik. Mereka meniru pola penalaran ilmiah: abduksi untuk menghasilkan beberapa kemungkinan penjelasan, lalu induksi untuk menguji penjelasan itu pada sampel lebih besar.
Tim menggunakan 23.000 judul yang menggambarkan 4.500 artikel dari Upworthy. Mereka memberi sebagian data dan rasio klik-tayang ke model, membiarkan model mengajukan hipotesis, dan kemudian menguji seberapa baik hipotesis itu menggeneralisasi. Sebuah model penilaian yang sudah dilatih pada hasil uji A/B Upworthy mengukur kualitas judul selama evaluasi.
Mereka menguji sistem baru dengan sekitar 150 orang yang menilai judul asli, judul AI standar, dan judul dari kerangka baru itu. Judul manusia dan AI standar masing-masing terpilih sekitar 30% waktu, sedangkan model baru dipilih 44% waktu. Analisis menunjukkan AI standar lebih mengandalkan bahasa sensasional.
- Menghasilkan hipotesis tentang alasan judul bekerja
- Menguji hipotesis pada data besar
- Melatih ulang model untuk alasan yang tervalidasi
Para peneliti menyatakan pendekatan ini dapat dipakai lintas bidang, misalnya untuk pelatihan AI personalisasi layanan pelanggan, dan inputnya bisa berupa teks, audio, atau visual. Mereka menyimpulkan bahwa AI yang dipandu pengetahuan dapat meningkatkan kualitas konten serta membuat sistem lebih bertanggung jawab dan dapat dipercaya.
Kata-kata sulit
- abduksi — cara menebak penjelasan paling mungkin sementara
- induksi — cara menarik generalisasi dari banyak contoh
- hipotesis — penjelasan sementara yang bisa diuji
- rasio klik-tayang — perbandingan jumlah klik dan tampilan suatu tautan
- penilaian — proses menilai kualitas atau nilai sesuatu
- sensasional — menarik perhatian dengan cara berlebihan atau dramatis
- melatih ulang — melatih model lagi setelah ada data baru
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Bagaimana menurut Anda penggunaan abduksi lalu induksi dapat meningkatkan kualitas judul atau konten online? Jelaskan alasan Anda.
- Apa keuntungan dan risiko melatih ulang model berdasarkan alasan yang tervalidasi dibandingkan hanya meniru teks yang populer? Berikan contoh singkat.
- AI yang dipandu pengetahuan dikatakan lebih dapat dipercaya. Bagaimana penerapan pendekatan ini bisa memengaruhi layanan pelanggan atau bidang lain yang Anda kenal?
Artikel terkait
Sensor Rumah dan AI Pantau Perubahan Kesehatan pada Pasien ALS
Tim di University of Missouri menguji sistem yang menggabungkan sensor rumah dan kecerdasan buatan untuk melacak perubahan fungsi sehari-hari pada pasien ALS. Tujuannya mendeteksi masalah lebih awal dan membantu tindakan klinis cepat.
Model Bahasa AI dan Pemahaman Dunia Nyata
Peneliti dari Brown University menguji apakah model bahasa AI bisa membedakan peristiwa yang umum, tidak mungkin, mustahil, atau tidak masuk akal. Mereka menggunakan metode untuk melihat keadaan internal model dan menemukan vektor plausibilitas yang sesuai dengan penilaian manusia.
