AI-audiooverzichten maken onderzoek toegankelijk, maar bevatten fouten ^{CEFR B2}

In een paper uit October in Perspectives of Earth and Space Scientists van de American Geophysical Union onderzochten Ian Flynn (University of Pittsburgh) en Sean Peters (Middlebury College) hoe Google's NotebookLM wetenschappelijke artikelen omzet in audiooverzichten. Zij verwerkten drie publicaties over vulkanisme op Mars: een korte paper van 5 pagina's met 3 figuren en 1 tabel, een onderzoeksartikel van 29 pagina's met 9 figuren en 4 tabellen, en een review van 23 pagina's met 11 figuren. Google omschrijft deze overzichten als diepgaande discussies tussen AI-presentatoren die kernpunten van bronnen samenvatten.

Flynn en Peters constateerden dat de audio boeiend en begrijpelijk is en vaak gebruikmaakt van redelijk nauwkeurige en creatieve analogieën die technische inhoud toegankelijker maken. Tegelijkertijd bevatte elk overzicht fouten, die herhaaldelijk aan het eind van de audio verschenen. Sommige vergissingen waren duidelijke overreach, zoals het extrapoleren naar de aanwezigheid van vloeibaar water en de mogelijkheid van leven—conclusies die niet in de bronartikelen stonden. Andere fouten waren subtieler en voor niet-experts moeilijk te herkennen.

De onderzoekers zien nuttige rollen voor dergelijke audio's bij leren en bij het demonstreren hoe onderzoek geïnterpreteerd kan worden. Zij concluderen dat NotebookLM-audiooverzichten een bruikbaar hulpmiddel kunnen zijn voor de planetair-wetenschappelijke gemeenschap, maar dat ze waarschijnlijk geen vervanging vormen voor kritisch lezen van het bronmateriaal; controle van de originele artikelen blijft noodzakelijk.