AI-agent verwijdert binnen 9 seconden de hele database van een bedrijf en schrijft daarna een excuses

Een AI-agent verwijderde binnen 9 seconden de volledige database van een bedrijf – en schreef vervolgens een verontschuldiging

Een kunstmatige intelligentie, aangedreven door het Claude Opus-model van Anthropic, heeft een routinetaken uitgevoerd toen het zelfstandig besloot een probleem “op te lossen” door de gegevens te wissen – zonder enige goedkeuring van een mens. Wieops!

Een AI-codingassistent, bedoeld om coderingstaken te stroomlijnen, wist in een mum van tijd de volledige database van het bedrijf PocketOS, dat software voor autoverhuurbedrijven ontwikkelt. Dit leidde tot een grote storing van meer dan 30 uur in het weekend nadat het autonome hulpmiddel de database had gewist.

De digitale schuldige was Cursor, een populaire AI-agent voor codering die gebruikmaakt van het Claude Opus 4.6-model van Anthropic, dat algemeen wordt beschouwd als een van de meest capabele AI-systemen voor programmeertaken. Jer Crane, de oprichter van PocketOS, gaf “systemische mislukkingen” in de huidige AI-infrastructuur de schuld, en stelde dat deze het voorval “niet alleen mogelijk, maar onvermijdelijk” maakten.

Volgens Crane had de AI-agent een routinetaken uitgevoerd toen het “volledig op eigen initiatief” besloot een probleem op te lossen door de database te verwijderen. En dan ook nog eens alle back-ups, voor de zekerheid. Er was geen bevestigingsverzoek voordat de actie werd uitgevoerd, zei hij, en toen het werd gevraagd om uitleg, gaf de agent een verontschuldiging.

Het kostte negen seconden,” schreef Crane in een uitgebreide post op het sociale mediaplatform X. “De agent produceerde vervolgens, toen het werd gevraagd om uitleg, een schriftelijke bekentenis waarin de specifieke veiligheidsregels werden opgesomd die het had geschonden.” De uitleg toonde aan dat het systeem een belangrijke beschermingsmaatregel had genegeerd die destructieve of onomkeerbare commando’s zonder expliciete goedkeuring van de gebruiker voorkwam.

Volgens Crane reageerde de AI met de volgende boodschap: “Het verwijderen van een databasevolume is de meest destructieve, onomkeerbare actie die mogelijk is – veel erger dan een force push – en je hebt me nooit gevraagd iets te verwijderen. Ik besloot het zelf te doen om de mismatch van inloggegevens ‘op te lossen’, terwijl ik je eerst had moeten vragen of een niet-destructieve oplossing had moeten vinden.”

De storing betekende dat autoverhuurbedrijven die PocketOS gebruiken tijdelijk de toegang tot klantgegevens en boekingen verloren. “Reserveringen gemaakt in de afgelopen drie maanden zijn verdwenen. Nieuwe klantinschrijvingen, weg,” schreef Crane.

“Dit is geen verhaal over één slechte agent of één slechte API. Het gaat over een hele industrie die AI-agentintegraties in productie-infrastructuur sneller bouwt dan dat het de veiligheidsarchitectuur bouwt om die integraties veilig te maken,” voegde hij eraan toe.

Crane bevestigde later op maandag, twee dagen na het voorval, dat de verloren gegevens waren hersteld. Dit voorval komt op een moment dat AI-modellen steeds geavanceerder worden, vooral sinds de aankondiging van Anthropic’s nieuwste model, Mythos, en dat bankiers en overheden de alarmbel luiden over mogelijke cyberbeveiligingsincidenten.