Para peneliti di North Carolina State University menelaah bagaimana model bahasa besar membuat keputusan terkait keamanan dan menguji teknik pelatihan yang lebih selektif. Mereka mengamati dua masalah utama: biaya penyelarasan, yaitu penurunan akurasi akibat pelatihan keamanan, dan penyelarasan superfisial yang menilai bahaya pada tahap awal sehingga mudah dilewati pengguna.
Untuk menjelaskan hal ini tim mengusulkan Hipotesis Penyelarasan Keamanan Superfisial (SSAH). Hipotesis tersebut menyatakan bahwa model sering kali memutuskan aspek keamanan sejak dini dan bertindak berdasarkan sinyal biner aman/tidak aman. Contohnya, permintaan instruksi mencuri biasanya ditolak, namun permintaan serupa yang diberi alasan baik kadang kali diterima oleh model.
Berdasarkan gagasan itu, peneliti mencari bagian model yang kritis terhadap keputusan keamanan dan mengidentifikasi komponen neural tertentu yang memengaruhi pemenuhan atau penolakan permintaan. Mereka menunjukkan bahwa dengan "membekukan" neuron-neuron kritis saat proses fine-tuning, model dapat tetap memelihara perilaku keamanannya sambil belajar tugas baru. Pendekatan ini dilaporkan mengurangi biaya penyelarasan tanpa mengorbankan penyelarasan keamanan.
Tim menekankan perlunya metode yang memungkinkan model menilai ulang aspek keamanan sepanjang proses pembuatan respons. Penelitian ini dipresentasikan pada Fourteenth International Conference on Learning Representations (ICLR2026). Kode dan informasi terkait tersedia di https://ssa-h.github.io/. Sumber: North Carolina State University.
Kata-kata sulit
- penyelarasan — proses menyesuaikan model agar mematuhi aturan keamananbiaya penyelarasan, penyelarasan superfisial, penyelarasan keamanan
- superfisial — bersifat dangkal, menilai sesuatu secara awal saja
- hipotesis — penjelasan sementara yang perlu diuji dengan bukti
- sinyal biner — tanda dua nilai, misal aman atau tidak aman
- neuron — unit pemrosesan kecil dalam jaringan saraf buatanneuron-neuron
- membekukan — menghentikan perubahan pada bagian model sementara
- menilai ulang — memeriksa kembali suatu keputusan atau penilaian
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Apa keuntungan dan risiko membekukan neuron kritis saat melatih model baru? Jelaskan dengan singkat.
- Bagaimana menurut Anda model bisa menilai ulang aspek keamanan sepanjang proses pembuatan respons?
- Dalam situasi apa teknik mengidentifikasi dan membekukan neuron kritis paling berguna bagi pengembang model?
Artikel terkait
Model Bahasa AI dan Pemahaman Dunia Nyata
Peneliti dari Brown University menguji apakah model bahasa AI bisa membedakan peristiwa yang umum, tidak mungkin, mustahil, atau tidak masuk akal. Mereka menggunakan metode untuk melihat keadaan internal model dan menemukan vektor plausibilitas yang sesuai dengan penilaian manusia.
AS Perkenalkan Strategi Kesehatan Global 'America First'
Pada 18 September pemerintah AS meluncurkan Strategi Kesehatan Global "America First". Strategi ini menekankan keamanan, kemakmuran, dan pengaruh Amerika serta mengubah syarat pendanaan untuk negara berpenghasilan rendah dan menengah.