Onderzoekers van de Yale School of Management (Tong Wang en K. Sudhir, met Hengguang Zhou) presenteren een methode waarmee een groot taalmodel (LLM) leert waarom bepaalde koppen meer engagement opleveren. Ze laten zien dat trainen op alleen winnende koppen clickbait kan bevorderen, omdat het model dan oppervlakkige signalen zoals sensationele woorden uitbuit in plaats van diepere verklaringen te vinden.
Het team liet het LLM concurrerende hypothesen genereren over waarom de ene kop beter werkt dan de andere en testte deze hypothesen systematisch op datasets. Uit die tests kwam een kleine set gevalideerde verklaringen. Daarna finetuneden ze het model zodat het koppen schrijft die engagement maximaliseren om de juiste redenen, een proces dat abductie (ideeën voorstellen) en inductie (testen op grotere steekproeven) reflecteert.
Ze gebruikten 23.000 koppen voor 4.500 Upworthy-artikelen en een voorgetraind beoordelingsmodel dat gebaseerd is op Upworthy's A/B-testresultaten. Menselijke beoordelaars (ongeveer 150) kozen tussen originele Upworthy-koppen, standaard door AI gegenereerde koppen en koppen van het nieuwe kader. Het nieuwe model werd 44% van de tijd geselecteerd, terwijl menselijke en standaard-AI-koppen elk ongeveer 30% kregen; analyse toonde dat standaard-AI meer op sensationele taal steunde.
De onderzoekers zeggen dat de aanpak vakoverschrijdende kennis kan genereren. Sudhir noemde werk om gepersonaliseerde AI-coaching voor klantenservicemedewerkers te maken, waarbij het systeem interacties kan beoordelen, hypothesen voorstelt en valideert, en advies geeft. Ze wijzen ook op mogelijkheden om niet-tekstuele input, zoals audio of visuele data, te gebruiken en concluderen dat kennisgestuurde AI zowel inhoud kan verbeteren als AI-systemen verantwoordelijker en betrouwbaarder kan maken.
Moeilijke woorden
- abductie — ideeën voorstellen als mogelijke verklaring
- inductie — verklaringen testen op grotere steekproeven
- finetunen — een model verder trainen voor betere prestatiesfinetuneden
- hypothese — voorlopig idee dat je kunt testenhypothesen
- valideren — controleren of iets betrouwbaar en juist isgevalideerde
- clickbait — kop die aandacht trekt met sensationele inhoud
- engagement — mate waarin lezers reageren of betrokken blijven
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Welke risico's en voordelen zie je als nieuwsrooms modellen trainen op alleen klikrijke koppen? Geef twee voorbeelden.
- Hoe zou het beschreven kader kunnen helpen bij persoonlijke AI-coaching voor klantenservicemedewerkers? Noem mogelijke stappen.
- Welke overwegingen zijn belangrijk als men niet-tekstuele data (audio of visuele) wil gebruiken voor het verbeteren van content?
Gerelateerde artikelen
Schade aan Iraanse universiteiten door luchtaanvallen
Luchtaanvallen hebben universiteiten en onderzoeksinstellingen in Iran verstoord. Campussen en laboratoria raakten beschadigd, onderwijs ging veelal online en UNESCO waarschuwt voor lange termijngevolgen voor onderzoek en studenten.
Connie Nshemereirwe over wetenschap en onderwijs in Afrika
Connie Nshemereirwe verbindt wetenschap en beleid en zegt dat onderzoek in Afrika uit de basis moet ontstaan. Ze bespreekt ook wetenschapscommunicatie en de gevolgen van schoolsluitingen tijdens de pandemie voor kinderen en onderwijs.
AI-audiooverzichten maken onderzoek toegankelijk, maar bevatten fouten
Onderzoekers testten Google’s NotebookLM op drie artikelen over vulkanisme op Mars. De audio’s waren begrijpelijk en boeiend, maar bevatten herhaalde onnauwkeurigheden; de onderzoekers adviseren altijd het originele onderzoek te lezen.