Onderzoek wijst uit dat enkele internationale pesticidenbeleid mogelijk beïnvloed worden door onvoldoende kwaliteitsanalyse

Onderzoekers van UNSW hebben aangetoond dat de kwaliteit van onderzoeksmethoden en geografische vooroordelen in beoordelingen betekenen dat het bewijs waarop beleidsmakers zich baseren, onbetrouwbaarder is dan het lijkt.

Vanaf de jaren 60 werd er een golf van onderzoek uitgevoerd naar de impact van organochloride pesticiden zoals DDT op de natuur, het milieu en de mens.

Organochloriden zijn nu verboden in Australië en elders vanwege hun vermogen om zich op te hopen in zowel het milieu als in organismen. Na die eerste golf van studies volgde een tweede golf van beoordelingen—vaak in de vorm van meta-analyses—die resultaten combineerden om een duidelijker beeld te geven van de gevaren van deze pesticiden.

Echter, nieuw onderzoek van UNSW, gepubliceerd in Nature Sustainability, toont aan dat methodologieën van slechte kwaliteit in deze beoordelingen gebruikelijk zijn en dat deze studies vaak worden geciteerd in beleidsdocumenten wereldwijd.

De onderzoekers benadrukten de kwaliteit van meer dan 100 meta-analyses die in meer dan 200 beleidsdocumenten werden geciteerd, en ontdekten dat meer dan 80% van deze analyses van slechte kwaliteit was, met onder andere slechte literatuuronderzoeken, inadequate statistische analyses en een beperkte toepassing van rapportage richtlijnen.

De onderzoekers stellen: “Meta-analyses kunnen misleidend zijn en vol subjectieve vooroordelen zitten, terwijl ze de illusie van objectieve autoriteit uitstralen, waardoor beleidsmakers geloven dat ze betrouwbare bewijsbronnen aanhalen, terwijl dat in werkelijkheid niet het geval kan zijn.“

Het team ontdekte dat deze analyses waren gebruikt door organisaties zoals de Wereldgezondheidsorganisatie en de Verenigde Naties om beleid te ontwikkelen.

“Dit toont aan dat de invloed van meta-analyses van slechte kwaliteit zich uitstrekt tot beleidsdocumenten die implicaties kunnen hebben voor internationale beleid,” zegt Kyle Morrison, de hoofdauteur van de studie en Ph.D.-kandidaat aan de UNSW School of Biological, Earth & Environmental Sciences.

Australië is lid van beide organisaties en heeft vertegenwoordigers bij vergaderingen waar deze beleidsdocumenten worden opgesteld. De onderzoekers vonden ook geen verschil in de kwaliteit van meta-analyses die in beleidsdocumenten werden geciteerd en die dat niet deden.

De auteurs beweren dat de grote invloed van methodologieën van slechte kwaliteit in meta-analyses een mogelijk groter probleem in de wetenschap weerspiegelt. “Studies krijgen vaak meer zichtbaarheid en citaties op basis van hun bevindingen in plaats van hun methodologische kwaliteit,” merkt Morrison op.

“Met andere woorden, opvallende resultaten krijgen vaak meer aandacht dan goed uitgevoerde, transparante onderzoeken.”

De onderzoekers pleiten voor een verschuiving in academische incentives, weg van het belonen van alleen die grote resultaten, en richting het waarderen van betrouwbaarheid, transparantie en openheid.

Daarnaast willen de onderzoekers betere rapportage- en methodologische standaarden voor meta-analyses in de milieuwetenschappen, evenals meer inspanningen om de inclusiviteit en toegankelijkheid van wetenschap te verbeteren, vooral met betrekking tot ontwikkelingslanden.

“Het bereiken hiervan vereist niet alleen veranderingen in individuele tijdschriften, maar ook een bredere culturele verschuiving binnen de wetenschap en publicatie.” Het team stelt dat sterkere richtlijnen en bredere internationale samenwerking essentieel zijn als pesticide-regulering het volledige gewicht van het bewijs moet weerspiegelen.