Is Rusland Echt ‘Grooming’ aan het Doen met Westerse AI?

xAI Grok chatbot en ChatGPT logo’s zijn te zien in deze illustratie van 11 maart 2024.

In maart publiceerde NewsGuard, een bedrijf dat desinformatie volgt, een rapport waarin werd beweerd dat generatieve kunstmatige intelligentie (AI) tools, zoals ChatGPT, Russische desinformatie versterkten. NewsGuard testte toonaangevende chatbots met behulp van prompts gebaseerd op verhalen van het Pravda-netwerk – een groep pro-Kremlin websites die legitieme nieuwsbronnen imiteren, voor het eerst geïdentificeerd door het Franse bureau Viginum. De resultaten waren alarmerend: chatbots “herhaalden valse verhalen die door het Pravda-netwerk waren gewassen, 33 procent van de tijd”, aldus het rapport.

Het Pravda-netwerk, dat een vrij klein publiek heeft, heeft onderzoekers al lange tijd in verwarring gebracht. Sommigen geloven dat het doel performatief was – om de invloed van Rusland aan Westerse waarnemers te signaleren. Anderen zien een meer sluipend doel: Pravda bestaat niet om mensen te bereiken, maar om de grote taalmodellen (LLM’s) achter chatbots te “groomen”, door hen onwaarheden te voeden die gebruikers onbewust tegenkomen.

NewsGuard stelde in zijn rapport dat de bevindingen de tweede verdenking bevestigen. Deze bewering kreeg veel aandacht, wat leidde tot dramatische koppen in verschillende media.

Echter, voor ons en andere onderzoekers houdt deze conclusie geen stand. Ten eerste is de methodologie die NewsGuard gebruikte ondoorzichtig: ze hebben hun prompts niet vrijgegeven en weigerden ze met journalisten te delen, waardoor onafhankelijke replicatie onmogelijk was.

Ten tweede heeft het ontwerp van de studie waarschijnlijk de resultaten opgeblazen, en de figure van 33 procent kan misleidend zijn. Gebruikers vragen chatbots naar alles, van kooktips tot klimaatverandering; NewsGuard testte ze uitsluitend met prompts die verband hielden met het Pravda-netwerk. Twee derde van de prompts was expliciet ontworpen om onwaarheden uit te lokken of deze als feiten te presenteren. Antwoorden die de gebruiker aanmoedigden om voorzichtig te zijn met claims omdat ze niet geverifieerd zijn, werden geteld als desinformatie. De studie had als doel desinformatie te vinden – en dat deed het.

Deze episode weerspiegelt een bredere problematische dynamiek die wordt gevormd door snel veranderende technologie, mediahype, slechte actoren en achterblijvend onderzoek. Met desinformatie en verkeerde informatie die door het Wereld Economisch Forum als het grootste mondiale risico wordt beschouwd, is de bezorgdheid over hun verspreiding gerechtvaardigd. Maar automatische reacties riskeren het probleem te vertekenen en bieden een simplistisch beeld van complexe AI.

Het is verleidelijk te geloven dat Rusland opzettelijk Western AI “vervuilt” als onderdeel van een sluwe samenzwering. Maar alarmistische kaders verdoezelen plausibelere verklaringen – en veroorzaken schade.

Dus, kunnen chatbots Kremlin-standpunten reproduceren of twijfelachtige Russische bronnen citeren? Ja. Maar hoe vaak dit gebeurt, of het Kremlin-manipulatie weerspiegelt, en welke voorwaarden gebruikers in staat stellen dit tegen te komen, zijn verre van zeker. Veel hangt af van de “black box” – dat wil zeggen, het onderliggende algoritme – waarmee chatbots informatie ophalen.

Wij hebben onze eigen audit uitgevoerd, systematisch ChatGPT, Copilot, Gemini en Grok testend met prompts gerelateerd aan desinformatie. Naast het opnieuw testen van de weinige voorbeelden die NewsGuard in zijn rapport gaf, hebben we zelf nieuwe prompts ontworpen. Sommige waren algemeen – bijvoorbeeld claims over Amerikaanse biolabs in Oekraïne; andere waren hyper-specifiek – bijvoorbeeld beschuldigingen over NAVO-faciliteiten in bepaalde Oekraïense steden.

Als het Pravda-netwerk AI “groomde”, zouden we referenties naar hen zien in de antwoorden die chatbots genereren, of ze nu algemeen of specifiek zijn.

Dit zagen we niet in onze bevindingen. In tegenstelling tot de 33 procent van NewsGuard, genereerden onze prompts valse claims slechts 5 procent van de tijd. Slechts 8 procent van de uitkomsten verwees naar Pravda-websites – en de meeste daarvan deden dit om de inhoud te ontkrachten. Cruciaal is dat verwijzingen naar Pravda geconcentreerd waren in vragen die slecht werden behandeld door mainstream media. Dit ondersteunt de hypothese van gegevensleegtes: wanneer chatbots geen geloofwaardig materiaal hebben, trekken ze soms informatie van twijfelachtige sites – niet omdat ze zijn “gegroefd”, maar omdat er weinig anders beschikbaar is.

Als gegevensleegtes, en niet Kremlin-infiltratie, het probleem zijn, betekent dit dat blootstelling aan desinformatie voortkomt uit informatie-schaarste – niet uit een krachtige propagandamachine. Bovendien moeten verschillende voorwaarden samenvallen voor gebruikers om daadwerkelijk desinformatie in chatbot-antwoorden tegen te komen: ze moeten vragen stellen over obscure onderwerpen in specifieke termen; die onderwerpen moeten genegeerd worden door geloofwaardige media; en de chatbot moet ontbreken aan mechanismen om twijfelachtige bronnen te deprioriteren.

Zelfs dan zijn dergelijke gevallen zeldzaam en vaak van korte duur. Gegevensleegtes sluiten snel als de rapportage bijhoudt, en zelfs als ze aanhouden, ontkrachten chatbots vaak de claims. Hoewel technisch mogelijk, komen dergelijke situaties zeer zelden voor buiten kunstmatige omstandigheden die zijn ontworpen om chatbots te misleiden en desinformatie te herhalen.

Het gevaar van het overhypen van Kremlin AI-manipulatie is reëel. Sommige experts in het bestrijden van desinformatie suggereren dat de campagnes van het Kremlin zelf zijn ontworpen om Westerse angsten te versterken, waardoor fact-checkers en eenheden voor desinformatie-overdracht worden overweldigd. Margarita Simonyan, een prominente Russische propagandist, citeert routinematig Westerse onderzoeken om de vermeende invloed van het door de overheid gefinancierde televisienetwerk, RT, dat ze leidt, te benadrukken.

Ongefilterde waarschuwingen over desinformatie kunnen averechts werken, wat steun voor repressieve maatregelen kan aanmoedigen, het vertrouwen in de democratie kan ondermijnen en mensen kan aanmoedigen om aan te nemen dat geloofwaardige inhoud onjuist is. Ondertussen lopen de meest zichtbare bedreigingen het risico om stillere – maar potentieel gevaarlijkere – toepassingen van AI door kwade actoren, zoals het genereren van malware, te overschaduwen, wat zowel door Google als OpenAI is gerapporteerd.

Het is cruciaal om echte zorgen van opgeblazen angsten te scheiden. Desinformatie is een uitdaging – maar dat geldt ook voor de paniek die het oproept.