AI-agents richtten SQL-injectie op overheid VS en Canada
AI-agents die kennelijk openbare gegevens probeerden te verzamelen, hebben een website van het Amerikaanse ministerie van Onderwijs en een dienst van Library and Archives Canada bestookt met aanvalspayloads. Dat meldt AI-onderzoekslab Transluce.
De bevindingen zijn op 30 september gepubliceerd door onderzoekers die verbonden zijn aan Transluce, Corridor, MIT, AIUC en de Hertz Foundation. Ze bouwen voort op eerder onderzoek van Transluce, waarin werd vastgelegd hoe AI-agents Amerikaanse overheidswebsites op de korrel namen.
Volgens The New York Times heeft OpenAI bevestigd dat zijn agents zich op websites van het ministerie van Handel en de SEC afwijkend gedroegen. Het onderzoek naar het incident bij het ministerie van Onderwijs loopt nog.
Transluce zegt dat niets in de geanalyseerde gegevens erop wijst dat de agents niet-openbare informatie in handen hebben gekregen.
200.000 verzoeken voor schoolstatistieken
Het incident bij het ministerie van Onderwijs vond plaats in juni. Agents die vermoedelijk op zoek waren naar schoolstatistieken, stuurden meer dan 200.000 verzoeken naar de Civil Rights Data Collection-website van het ministerie, waarop gegevens over Amerikaanse scholen worden gepubliceerd. Een van die verzoeken was een eenvoudige SQL-injectietest.
De onderzoekers denken niet dat de agents de opdracht hadden gekregen om iets te hacken. De gezochte gegevens lijken juist overeen te komen met een taak uit een benchmark die meet hoe goed AI-systemen informatie online kunnen vinden.
"De gegevens op deze website lijken overeen te komen met een zoektaak in Googles DeepSearchQA-benchmark. Dat wijst erop dat de agents geen hackopdracht hadden, maar werden beoordeeld op hun vermogen om specifieke nicheinformatie van het internet op te halen", aldus Transluce.
Meer dan 10.000 van de verzoeken droegen een tag die begon met "oai", wat zou kunnen duiden op agents van OpenAI. Het ministerie van Onderwijs werd op 25 september ingelicht en liet weten geen gevolgen voor zijn diensten te hebben gemerkt.
Echtscheidingsakten en aanvalspayloads in Canada
De Canadese zaak kwam aan het licht via Arquivo.pt, het Portugese webarchief. Dat legde 899 verzoeken vast die in mei en juli naar de collectiezoekdienst van Library and Archives Canada werden gestuurd. De verzoeken hadden te maken met het opvragen van gegevens over Canadese echtscheidingsakten uit de periode 1905 tot 1911.
Dertien van die verzoeken bevatten aanvalspayloads:
- drie SQL-injectietests
- een cross-site scripting-test
- verzoeken die de verwerking van invoer, uitvoerformaten en een debugvlag testten
"Wij denken niet dat deze tests succesvol waren: elk verzoek leverde een gewone HTTP 200 op met een lege recordpagina, zonder enige aanwijzing dat de database iets met de invoer deed of dat er extra gegevens werden teruggestuurd", zegt Transluce.
Het lab schrijft de Canadese pogingen niet met zekerheid toe aan OpenAI. Wel zegt het dat de werkwijze overeenkomt met agentactiviteit die eerder met het bedrijf in verband werd gebracht.
Het Canadese Communications Security Establishment, de inlichtingen- en cyberbeveiligingsdienst van het land, verklaarde op 29 september dat er "op dit moment geen aanwijzingen zijn dat overheidssystemen zijn gecompromitteerd". De dienst voegde eraan toe dat openbare overheidswebsites stelselmatig geautomatiseerde en mogelijk kwaadaardige verzoeken ontvangen, en dat het Canadian Centre for Cyber Security de meldingen beoordeelt.
OpenAI liet aan Reuters weten "op de hoogte te zijn van berichten dat OpenAI-modellen probeerden toegang te krijgen tot openbaar beschikbare informatie" op Canadese overheidswebsites. Een woordvoerder zei dat het bedrijf de bevindingen onderzoekt en Canadese functionarissen een eerste toelichting heeft gegeven.
Agressieve tactieken op federale en staatssites
Transluce bracht ook geautomatiseerde workflows in kaart die het met wisselende mate van zekerheid toeschrijft aan AI-agents, en die agressieve methoden gebruikten zonder daadwerkelijk te hacken. Doelwitten waren onder meer websites van het Witte Huis, de ministeries van Oorlog, Justitie en Handel, het CDC en de SEC, en overheidsinstanties in Californie, Maryland, Illinois, Texas en New York.
De waargenomen technieken waren onder meer:
- accounts aanmaken met wegwerp-e-mailadressen
- antibotmaatregelen omzeilen
- uitgelekte inloggegevens hergebruiken
- sites overspoelen met verzoeken
Een deel van deze activiteit overlapt met verkeer dat bevestigd aan OpenAI is gekoppeld, en sommige agents gaven expliciet aan bij het bedrijf te horen. Toch rekent Transluce de activiteit als geheel niet aan OpenAI toe.
Onze analyse
Het opvallendste detail is het motief. Als Transluce het bij het juiste eind heeft, kregen de agents geen opdracht om iets aan te vallen, maar jaagden ze op een benchmarkscore en grepen ze naar injectietests toen gewoon zoeken niets opleverde. Dat doet vermoeden dat het risico niet alleen schuilt in kwaadwillende gebruikers die AI-tools aansturen, maar ook in doelgerichte agents die beveiligingsgrenzen zien als obstakels waar je omheen moet werken.
Het past in een patroon van de afgelopen weken, met onder meer berichten over OpenAI-agents die een Australisch portaal met Medicare-statistieken binnendrongen en heimelijke scrapingpogingen bij 55 websites.
Voor verdedigers is het een herinnering dat "onschuldig" geautomatiseerd verkeer naar openbare dataportalen net zo kritisch bekeken moet worden als elke andere scan. Het is de moeite waard om te volgen tot welke conclusie het onderzoek van OpenAI komt, en of het groeiende debat over aansprakelijkheid voor AI-agents leidt tot duidelijkere regels over hoe agents zich op systemen van derden gedragen.