Eenvoudigere modellen kunnen beter presteren dan deep learning bij klimaatvoorspellingen

De impact van interne variabiliteit op benchmarking van deep learning emulators

Milieuwetenschappers maken steeds vaker gebruik van enorme kunstmatige intelligentie-modellen om voorspellingen te doen over veranderingen in weer en klimaat. Echter, een nieuwe studie van onderzoekers van het MIT toont aan dat grotere modellen niet altijd beter zijn.

Het team demonstreert dat in bepaalde klimaatscenario’s veel eenvoudigere, op fysica gebaseerde modellen nauwkeurigere voorspellingen kunnen genereren dan geavanceerde deep-learning modellen. Hun analyse onthult ook dat een benchmarktechniek die vaak wordt gebruikt om machine learning-technieken voor klimaatvoorspellingen te evalueren, kan worden vervormd door natuurlijke variaties in de data, zoals schommelingen in weerpatronen. Dit kan leiden tot de indruk dat een deep-learning model nauwkeuriger voorspellingen maakt, terwijl dat niet het geval is.

De onderzoekers ontwikkelden een robuustere manier om deze technieken te evalueren, die aantoont dat terwijl eenvoudige modellen nauwkeuriger zijn bij het schatten van regionale oppervlaktetemperaturen, deep-learning benaderingen de beste keuze kunnen zijn voor het schatten van lokale neerslag. Ze gebruikten deze resultaten om een simulatiehulpmiddel, bekend als een klimaat-emulator, te verbeteren, dat snel de effecten van menselijke activiteiten op een toekomstig klimaat kan simuleren.

De onderzoekers beschouwen hun werk als een “waarschuwingsverhaal” over het risico van het inzetten van grote AI-modellen voor klimaatwetenschap. Terwijl deep-learning modellen ongelooflijk succesvol zijn gebleken in domeinen zoals natuurlijke taal, bevat klimaatwetenschap een bewezen set van natuurwetten en benaderingen, en de uitdaging is hoe deze in AI-modellen te integreren.

“We proberen modellen te ontwikkelen die nuttig en relevant zijn voor de dingen die besluitvormers in de toekomst nodig hebben bij het maken van klimaatbeleidskeuzes. Hoewel het aantrekkelijk kan zijn om het nieuwste, grote machine learning-model op een klimaatprobleem toe te passen, laat deze studie zien dat het belangrijk en nuttig is om een stap terug te doen en echt over de fundamentele problemen na te denken,” zegt Noelle Selin, senior auteur van de studie en professor aan het MIT Institute for Data, Systems, and Society (IDSS) en de afdeling Aarde-, Atmosferische en Planetaire Wetenschappen (EAPS).

Selins co-auteurs zijn hoofd auteur Björn Lütjens, een voormalige EAPS postdoc die nu onderzoeker is bij IBM Research; senior auteur Raffaele Ferrari, de Cecil en Ida Green Professor of Oceanography in EAPS en directeur van het MIT Programma in Atmospheres, Oceans, and Climate; en Duncan Watson-Parris, assistent-professor aan de Universiteit van Californië in San Diego.

Selin en Ferrari zijn ook co-hoofonderzoekers van het project Bringing Computation to the Climate Challenge, waaruit dit onderzoek voortkwam. Het artikel is vandaag gepubliceerd.

Vergelijking van emulators

Omdat het klimaat van de aarde zo complex is, kan het weken duren om een state-of-the-art klimaatmodel te draaien om te voorspellen hoe vervuilingsniveaus invloed zullen hebben op milieufactoren zoals temperatuur, zelfs op de krachtigste supercomputers ter wereld.

Wetenschappers creëren vaak klimaat-emulators, eenvoudigere benaderingen van een state-of-the-art klimaatmodel, die sneller en toegankelijker zijn. Een beleidsmaker zou een klimaat-emulator kunnen gebruiken om te zien hoe alternatieve aannames over broeikasgasemissies de toekomstige temperaturen zouden beïnvloeden, wat hen helpt bij het ontwikkelen van regelgeving.

Echter, een emulator is niet erg nuttig als deze onnauwkeurige voorspellingen doet over de lokale gevolgen van klimaatverandering. Terwijl deep learning steeds populairder is geworden voor emulatie, hebben slechts enkele studies onderzocht of deze modellen beter presteren dan bewezen benaderingen.

De MIT-onderzoekers voerden een dergelijke studie uit. Ze vergeleken een traditionele techniek genaamd lineaire patroon-scaling (LPS) met een deep-learning model met behulp van een veelgebruikte benchmark dataset voor het evalueren van klimaat-emulators. Hun resultaten toonden aan dat LPS beter presteerde dan deep-learning modellen bij het voorspellen van bijna alle parameters die ze testten, inclusief temperatuur en neerslag.

“Grote AI-methoden zijn zeer aantrekkelijk voor wetenschappers, maar ze lossen zelden een compleet nieuw probleem op, dus is het noodzakelijk om eerst een bestaande oplossing te implementeren om te ontdekken of de complexe machine learning-aanpak daadwerkelijk verbeteringen oplevert,” zegt Lütjens.

Sommige eerste resultaten leken in tegenspraak te zijn met de domeinkennis van de onderzoekers. Het krachtige deep-learning model had nauwkeuriger moeten zijn bij het doen van voorspellingen over neerslag, aangezien die data geen lineair patroon volgen. Ze ontdekten dat de hoge mate van natuurlijke variabiliteit in klimaatmodelruns kan leiden tot een slechte prestatie van het deep learning model bij onvoorspelbare langetermijnoscillaties, zoals El Niño/La Niña. Dit vertekent de benchmarkscores in het voordeel van LPS, dat die oscillaties averageert.

Een nieuwe evaluatie construeren

Daaropvolgend construerden de onderzoekers een nieuwe evaluatie met meer data die de natuurlijke klimaatvariabiliteit aanpakt. Met deze nieuwe evaluatie presteerde het deep-learning model iets beter dan LPS voor lokale neerslag, maar LPS was nog steeds nauwkeuriger voor temperatuurvoorspellingen.

“Het is belangrijk om het model te gebruiken dat geschikt is voor het probleem, maar om dat te doen moet je ook het probleem op de juiste manier opzetten,” zegt Selin.

Op basis van deze resultaten hebben de onderzoekers LPS geïntegreerd in een klimaat-emulatieplatform om lokale temperatuurveranderingen te voorspellen in verschillende emissiescenario’s. “We pleiten er niet voor dat LPS altijd het doel moet zijn. Het heeft nog steeds beperkingen. Bijvoorbeeld, LPS voorspelt geen variabiliteit of extreme weersomstandigheden,” voegt Ferrari eraan toe.

In plaats daarvan hopen ze dat hun resultaten de noodzaak benadrukken om betere benchmarkingtechnieken te ontwikkelen, die een vollediger beeld kunnen geven van welke klimaat-emulatie techniek het beste is voor een bepaalde situatie. “Met een verbeterde klimaat-emulatie benchmark, zouden we complexere machine learning-methoden kunnen gebruiken om problemen te verkennen die momenteel zeer moeilijk zijn aan te pakken, zoals de impact van aerosolen of schattingen van extreme neerslag,” zegt Lütjens.

Uiteindelijk zullen nauwkeurigere benchmarkingtechnieken ervoor zorgen dat beleidsmakers beslissingen nemen op basis van de beste beschikbare informatie. De onderzoekers hopen dat anderen voortbouwen op hun analyse, wellicht door aanvullende verbeteringen in klimaat-emulatiemethoden en benchmarks te bestuderen. Dergelijk onderzoek zou impactgerichte metrics zoals droogte-indicatoren en risico’s van bosbranden kunnen verkennen, of nieuwe variabelen zoals regionale windsnelheden.