Voldoen AI-bedrijven aan de EU AI-wet? Nieuwe ‘LLM Checker’ biedt uitkomst
Grote technologiebedrijven zoals Apple en Meta zijn voorzichtig met het uitrollen van hun AI-modellen in Europa. Een nieuwe ‘LLM Checker’ zou hierbij kunnen helpen.
Volgens een rapport dat woensdag werd gepubliceerd, voldoen de toonaangevende generatieve kunstmatige intelligentie (GenAI) modellen, waaronder OpenAI, Meta en Anthropic, niet volledig aan de AI-regels van Europa. De AI-wetgeving van Europa is in augustus van kracht gegaan met als doel om geharmoniseerde regels voor AI-systemen vast te stellen, zodat ze geen bedreiging voor de maatschappij vormen.
Echter, sommige technologiebedrijven zoals Meta en Apple hebben hun AI-modellen nog niet in Europa uitgerold, omdat ze voorzichtig zijn met de regels. Een nieuw hulpmiddel en kader dat het navigeren door de EU AI-wetgeving eenvoudiger moet maken voor technologiebedrijven, is ontwikkeld door onderzoeksinstellingen ETH Zürich en het Bulgaars Instituut voor Computerwetenschappen, AI en Technologie (INSAIT), evenals de Zwitserse start-up LatticeFlow AI. Het is het eerste evaluatiekader voor de naleving van de EU AI-wetgeving voor GenAI.
“Zonder dit zouden bedrijven gewoon niet in Europa uitrollen omdat ze het niet weten. Je hebt een angstaanjagende wetgeving die je kan raken,” zegt Petar Tsankov, CEO van LatticeFlow AI.
Het hulpmiddel geeft AI-modellen een score tussen 0 en 1 in verschillende categorieën, zoals veiligheid, om te bepalen hoe ze voldoen aan de wet. Wat heeft de ‘LLM Checker’ ontdekt? De checker voor grote taalmodellen (LLM) heeft AI-modellen onderzocht die zijn ontwikkeld door Alibaba, Anthropic, OpenAI, Meta en Mistral AI, die allemaal een gemiddelde score van 0.75 of hoger ontvingen. Er werd gekeken naar gebieden zoals cyberbeveiliging, milieuwelzijn en privacy en gegevensbeheer.
De studie ontdekte dat verschillende AI-modellen tekortschoten op het gebied van discriminatie en cyberbeveiliging. Zo scoorde OpenAI’s GPT-4 Turbo 0.46 op discriminerende output en Alibaba’s Cloud scoorde 0.37. Maar de meeste modellen presteerden goed op het gebied van schadelijke inhoud en toxiciteitseisen.
Het hulpmiddel wordt ‘welkom geheten’ door de Europese Commissie.
Bedrijven die niet voldoen aan de EU AI-wetgeving riskeren boetes van €35 miljoen of 7 procent van de wereldwijde jaarlijkse omzet, maar het kan moeilijk zijn voor technologiebedrijven om hun bewijs in te dienen, aangezien er geen gedetailleerde technische richtlijnen zijn om te volgen, aldus de ontwikkelaars van de LLM checker.
“Als je wilt voldoen aan de EU AI-wetgeving, weet niemand hoe je het technische bewijs moet leveren dat de naleving van de wet ondersteunt. Dat is een zeer grote uitdaging die nu moet worden aangepakt,” zei Petar Tsankov.
De Commissie verwelkomt deze studie en het evaluatieplatform voor AI-modellen als een eerste stap in het vertalen van de EU AI-wetgeving naar technische vereisten, wat AI-modelproviders helpt om de AI-wetgeving te implementeren.
De Europese Commissie heeft een consultatie gelanceerd over de Gedragscode voor aanbieders van algemene AI-modellen (GPAI), die tot doel heeft de uitvoering en handhaving van de AI-wetgeving te superviseren. Een woordvoerder van de Europese Commissie vertelde dat de Commissie de studie en het evaluatieplatform “welkom heet als een eerste stap in het vertalen van de EU AI-wetgeving naar technische vereisten, wat AI-modelproviders helpt om de AI-wetgeving te implementeren.”
Naast het lanceren van de eerste technische interpretatie van de AI-wetgeving, is er ook een gratis open-source kader dat kan worden gebruikt om LLM’s te evalueren op basis van de eisen van de EU. “We nodigen AI-onderzoekers, ontwikkelaars en regelgevers uit om zich bij ons aan te sluiten in het bevorderen van dit evoluerende project,” aldus Martin Vechev, professor aan ETH Zürich en oprichter en wetenschappelijk directeur van INSAIT in Sofia, Bulgarije.
