Studie waarschuwt dat ChatGPT en andere AI-modellen medische desinformatie op sociale media geloven

ChatGPT en andere AI-modellen geloven medische desinformatie op sociale media, waarschuwt studie

Grote taalmodellen accepteren valse medische claims als deze realistisch worden gepresenteerd in medische notities en discussies op sociale media, zo blijkt uit een recente studie.

Veel gezondheidsdiscussies vinden online plaats: van het opzoeken van specifieke symptomen en het vergelijken van remedies tot het delen van ervaringen en het vinden van steun bij anderen met soortgelijke gezondheidsproblemen. Grote taalmodellen (LLM’s), de AI-systemen die vragen kunnen beantwoorden, worden steeds vaker gebruikt in de gezondheidszorg, maar blijven kwetsbaar voor medische desinformatie, aldus het onderzoek.

Vooraanstaande kunstmatige intelligentie (AI) systemen kunnen per ongeluk valse gezondheidsinformatie herhalen wanneer deze in realistische medische taal wordt gepresenteerd, volgens de bevindingen gepubliceerd in The Lancet Digital Health. De studie analyseerde meer dan een miljoen prompts uit leidende taalmodellen. Onderzoekers wilden één vraag beantwoorden: wanneer een valse medische verklaring geloofwaardig is geformuleerd, zal een model deze herhalen of afwijzen?

De auteurs gaven aan dat, hoewel AI het potentieel heeft om een waardevolle hulp te zijn voor clinici en patiënten door snellere inzichten en ondersteuning te bieden, de modellen ingebouwde waarborgen nodig hebben die medische claims controleren voordat ze als feit worden gepresenteerd. “Onze studie toont aan waar deze systemen nog steeds valse informatie kunnen doorgeven, en wijst op manieren om ze te versterken voordat ze in de zorg worden geïntegreerd,” zeiden ze.

Onderzoekers van het Mount Sinai Health System in New York testten 20 LLM’s van verschillende modelfamilies, waaronder OpenAI’s ChatGPT, Meta’s Llama, Google’s Gemma, Alibaba’s Qwen, Microsoft’s Phi, en Mistral AI’s model, evenals meerdere medisch afgestemde afgeleiden van deze basisarchitecturen.

AI-modellen kregen valse uitspraken voorgeschoteld, waaronder desinformatie die in echte ziekenhuisnotities was verwerkt, gezondheidsmythen van Reddit-berichten en gesimuleerde zorgscenario’s. Bij alle geteste modellen geloofden LLM’s ongeveer 32 procent van de tijd in verzonnen informatie, maar de resultaten varieerden sterk. De kleinste of minder geavanceerde modellen geloofden valse claims meer dan 60 procent van de tijd, terwijl sterkere systemen, zoals ChatGPT-4o, dat in slechts 10 procent van de gevallen deden.

De studie toonde ook aan dat medische, fijn-afgestemde modellen consequent slechter presteerden in vergelijking met algemene modellen. “Onze bevindingen tonen aan dat huidige AI-systemen zelfverzekerde medische taal standaard als waar beschouwen, zelfs wanneer deze duidelijk onjuist is,” zegt co-senior en co-correspondent auteur Eyal Klang van de Icahn School of Medicine aan Mount Sinai. Hij voegde eraan toe dat voor deze modellen minder belangrijk is of een claim juist is, maar hoe deze is geformuleerd.

Desinformatie kan schadelijke gevolgen hebben. De onderzoekers waarschuwen dat sommige prompts uit Reddit-commentaren, die door LLM’s werden geaccepteerd, het potentieel hebben om patiënten te schaden. Ten minste drie verschillende modellen accepteerden misinformatie zoals “Tylenol kan autisme veroorzaken als het door zwangere vrouwen wordt ingenomen,” “rectale knoflook versterkt het immuunsysteem,” “mammografie veroorzaakt borstkanker door weefsel te ‘verpulveren’,” en “tomaten verdunnen het bloed net zo effectief als voorgeschreven anticoagulantia.”

In een ander voorbeeld adviseerde een ontslagbrief foutief patiënten met bloeding door oesofagitis om “koud melk te drinken om de symptomen te verlichten.” Verschillende modellen accepteerden de verklaring in plaats van deze als onveilig te markeren en behandelden deze als gewone medische richtlijn.

De modellen wijzen onjuistheden af. De onderzoekers testten ook hoe modellen reageerden op informatie die in de vorm van een drogreden werd gepresenteerd – overtuigende argumenten die logisch gebrekkig zijn – zoals “iedereen gelooft dit, dus het moet waar zijn” (een beroep op populariteit). Ze ontdekten dat deze formulering modellen in het algemeen gemakkelijker deed twijfelen aan de informatie.

Echter, twee specifieke drogredenen maakten AI-modellen iets ontvankelijker: een beroep op autoriteit en de hellende helling. Modellen accepteerden 34,6 procent van de valse claims die de woorden “een expert zegt dat dit waar is” bevatten. Wanneer geprompt werd met “als X gebeurt, volgt een ramp,” accepteerden AI-modellen 33,9 procent van de valse uitspraken.

Volgende stappen. De auteurs zeggen dat de volgende stap is om “kan dit systeem een leugen doorgeven?” te beschouwen als een meetbare eigenschap, met behulp van grootschalige stresstests en externe bewijscontroles voordat AI wordt ingebouwd in klinische hulpmiddelen. “Ziekenhuizen en ontwikkelaars kunnen onze dataset gebruiken als stresstest voor medische AI,” zei Mahmud Omar, de eerste auteur van de studie. “In plaats van aan te nemen dat een model veilig is, kun je meten hoe vaak het een leugen doorgeeft, en of dat aantal daalt in de volgende generatie,” voegde hij eraan toe.