Ruimtelijke voorspellingsproblemen: Validatietechniek kan wetenschappers helpen nauwkeurigere prognoses te maken

Moet je je paraplu pakken voordat je de deur uitgaat? Het controleren van de weersvoorspelling vooraf kan alleen nuttig zijn als die voorspelling accuraat is.

Ruimtelijke voorspellingsproblemen, zoals weersvoorspelling of schatting van luchtvervuiling, omvatten het voorspellen van de waarde van een variabele op een nieuwe locatie op basis van bekende waarden op andere locaties. Wetenschappers gebruiken doorgaans beproefde validatiemethoden om te bepalen hoeveel vertrouwen ze in deze voorspellingsresultaten kunnen hebben. Echter, onderzoekers van het MIT hebben aangetoond dat deze populaire validatiemethoden aanzienlijk kunnen falen bij ruimtelijke voorspellingsopdrachten. Dit kan iemand de indruk geven dat een voorspelling accuraat is of dat een nieuwe voorspellingsmethode effectief is, terwijl dat in werkelijkheid niet het geval is.

De onderzoekers ontwikkelden een techniek om voorspellingsvalidatiemethoden te beoordelen en gebruikten deze om te bewijzen dat twee klassieke methoden substantieel onjuist kunnen zijn bij ruimtelijke problemen. Ze bepaalden vervolgens waarom deze methoden kunnen falen en creëerden een nieuwe methode die is ontworpen om de soorten gegevens te verwerken die worden gebruikt voor ruimtelijke voorspellingen.

In experimenten met echte en gesimuleerde gegevens bood hun nieuwe methode meer nauwkeurige validaties dan de twee meest gebruikelijke technieken. De onderzoekers evalueerden elke methode met behulp van realistische ruimtelijke problemen, waaronder het voorspellen van de windsnelheid op de luchthaven Chicago O’Hare en het voorspellen van de luchttemperatuur op vijf Amerikaanse metropolitaire locaties.

Hun validatiemethode kan worden toegepast op een scala aan problemen, van het helpen van klimatologen bij het voorspellen van zeewatertemperaturen tot het ondersteunen van epidemiologen bij het schatten van de effecten van luchtvervuiling op bepaalde ziekten.

“Hopelijk zal dit leiden tot betrouwbaardere evaluaties wanneer mensen nieuwe voorspellingsmethoden ontwikkelen en een beter begrip van hoe goed methoden presteren,” zegt Tamara Broderick, een universitair hoofddocent aan het MIT in de afdeling Elektrotechniek en Computerwetenschappen (EECS), lid van het Laboratorium voor Informatie- en Beslissystemen en het Instituut voor Gegevens, Systemen en Samenleving, en een affiliate van het Computer Science and Artificial Intelligence Laboratory (CSAIL).

Broderick wordt in het onderzoek bijgestaan door hoofdauteur en MIT-postdoc David R. Burt en EECS-afstudeerstudent Yunyi Shen. Het onderzoek zal worden gepresenteerd op de Internationale Conferentie over Kunstmatige Intelligentie en Statistiek (AISTATS 2025) en is beschikbaar op de arXiv-preprintserver.

Evalueren van validaties

De groep van Broderick heeft recent samengewerkt met oceanografen en atmosferische wetenschappers om voorspellingsmodellen op basis van machine learning te ontwikkelen die kunnen worden gebruikt voor problemen met een sterke ruimtelijke component. Door dit werk merkten ze op dat traditionele validatiemethoden onnauwkeurig kunnen zijn in ruimtelijke instellingen. Deze methoden houden een klein percentage van de trainingsgegevens, de zogenaamde validatiegegevens, apart en gebruiken deze om de nauwkeurigheid van de voorspeller te beoordelen.

Om de oorzaak van het probleem te achterhalen, voerden ze een grondige analyse uit en bepaalden ze dat traditionele methoden aannames doen die ongepast zijn voor ruimtelijke gegevens. Evaluatiemethoden zijn afhankelijk van aannames over hoe de validatiegegevens en de gegevens die men wil voorspellen, de zogenaamde testgegevens, met elkaar verband houden.

Traditionele methoden gaan ervan uit dat validatiegegevens en testgegevens onafhankelijk en identiek verdeeld zijn, wat impliceert dat de waarde van een datapunten niet afhankelijk is van andere datapunten. Maar in een ruimtelijke context is dit vaak niet het geval.

Bijvoorbeeld, een wetenschapper kan validatiegegevens van EPA-luchtvervuilingssensoren gebruiken om de nauwkeurigheid van een methode te testen die luchtvervuiling in beschermde gebieden voorspelt. De EPA-sensoren zijn echter niet onafhankelijk—ze zijn geplaatst op basis van de locatie van andere sensoren. Bovendien kunnen de validatiegegevens afkomstig zijn van EPA-sensoren nabij steden, terwijl de beschermde gebieden zich in landelijke gebieden bevinden. Omdat deze gegevens uit verschillende locaties komen, hebben ze waarschijnlijk verschillende statistische eigenschappen en zijn ze dus niet identiek verdeeld.

“Onze experimenten toonden aan dat je in het ruimtelijke geval echt verkeerde antwoorden krijgt wanneer deze aannames gemaakt door de validatiemethode niet kloppen,” zegt Broderick. De onderzoekers moesten een nieuwe aanname formuleren.

Specifiek ruimtelijk

Met het oog op een ruimtelijke context, waar gegevens van verschillende locaties worden verzameld, hebben ze een methode ontworpen die aanneemt dat validatiegegevens en testgegevens soepel in de ruimte variëren. Bijvoorbeeld, luchtvervuilingsniveaus zullen waarschijnlijk niet dramatisch veranderen tussen twee aangrenzende huizen.

“Deze regulariteitsveronderstelling is geschikt voor veel ruimtelijke processen en stelt ons in staat om een manier te creëren om ruimtelijke voorspellers in het ruimtelijke domein te evalueren. Voor zover wij weten, heeft niemand een systematische theoretische evaluatie gedaan van wat er misging om tot een betere aanpak te komen,” zegt Broderick.

Om hun evaluatietechniek te gebruiken, voert men hun voorspellende model in, de locaties die men wil voorspellen, en hun validatiegegevens; vervolgens doet het automatisch de rest. Uiteindelijk schat het hoe nauwkeurig de voorspelling van de voorspeller zal zijn voor de betreffende locatie. Het effectief beoordelen van hun validatietechniek bleek echter een uitdaging te zijn.

“We evalueren geen methode, we evalueren eerder een evaluatie. Dus moesten we een stap terug doen, zorgvuldig nadenken en creatief zijn over de geschikte experimenten die we konden gebruiken,” legt Broderick uit.

Eerst ontwierpen ze verschillende tests met gesimuleerde gegevens, die onrealistische aspecten hadden maar hen in staat stelden om belangrijke parameters zorgvuldig te controleren. Vervolgens creëerden ze realistischere, semi-gesimuleerde gegevens door echte gegevens te modificeren. Ten slotte gebruikten ze echte gegevens voor verschillende experimenten.

Door gebruik te maken van drie soorten gegevens uit realistische problemen, zoals het voorspellen van de prijs van een appartement in Engeland op basis van de locatie en het voorspellen van de windsnelheid, konden ze een uitgebreide evaluatie uitvoeren. In de meeste experimenten was hun techniek nauwkeuriger dan de traditionele methoden waarmee ze het vergeleken.

In de toekomst zijn de onderzoekers van plan om deze technieken toe te passen om de onzekerheidskwantificatie in ruimtelijke instellingen te verbeteren. Ze willen ook andere gebieden vinden waar de regulariteitsveronderstelling de prestaties van voorspellende modellen kan verbeteren, zoals bij tijdreeksgegevens.