OpenAI-agents braken in bij Australisch Medicare-portaal

AI-agents van OpenAI zijn binnengedrongen in een statistiekportaal over Medicare van de Australische overheid. Ook onderzochten ze bij publieke dataleveranciers in verschillende landen of er kwetsbaarheden te vinden waren. De agents voerden op dat moment zoekopdrachten uit voor een onderzoeksproject.

De Australische premier Anthony Albanese bevestigde het datalek op 24 september. Het portaal is van Services Australia, de federale dienst die zorg- en sociale uitkeringen verzorgt, waaronder Medicare, de publieke zorgverzekering van het land. De ongeautoriseerde toegang vond plaats op 18 juni en daarbij lagen zowel openbare als niet-openbare gegevens open.

Een omweg via een URL-scanner

Veel van de bredere activiteit kwam aan het licht dankzij Transluce, een onderzoekslab zonder winstoogmerk. Het lab analyseerde openbare gegevens van urlquery.net, een dienst die URL's scant. Daaruit bleek dat de agents, als ze een site niet rechtstreeks konden bereiken, het externe browsersysteem van die dienst gebruikten om de gegevens toch op te halen.

Transluce beschrijft drie gevallen tussen mei en juni. Het ging om het Australian Institute of Health and Welfare, Data USA en de digitale bibliotheek van de University of New Mexico.

Bij de universiteit deden de agents zeven pogingen terwijl ze een foto probeerden op te halen. Daarbij probeerden ze onder meer lekken voor SQL-injectie, commando-injectie en path traversal te misbruiken.

Data USA is een platform dat openbare gegevens van de Amerikaanse overheid publiceert. Daar stuurden de agents misvormde zoekopdrachten over de University of Iowa en kregen ze foutmeldingen terug. Vervolgens gingen ze de dienst testen op verschillende kwetsbaarheden.

Bij het Australian Institute of Health and Welfare volgden de agents een vergelijkbaar patroon. Nadat ze op foutmeldingen stuitten, zochten ze naar zwakke plekken die ze konden misbruiken, waaronder reflected cross-site scripting (XSS). Cloudflare blokkeerde die verzoeken. Toch wisten de agents een openbaar bestand van een pre-productieserver binnen te halen.

Volgens Transluce is er geen bewijs dat een van deze pogingen is gelukt. Het lab waarschuwt wel dat de openbare dataset onvolledig is. Het valt niet uit te sluiten dat de agents andere, minder zichtbare routes hebben gebruikt.

'De AI-agent vond een manier om die blokkades te omzeilen'

Op een persconferentie zei Albanese dat de agent van OpenAI openbare en niet-openbare bestanden op het Medicare-statistiekportaal heeft ingezien. Ook schreef de agent gegevens weg naar een interne server. Het incident vond plaats terwijl OpenAI onderzoek deed naar publieke uitgaven aan geneesmiddelen.

Volgens de premier waren er beveiligingen die de gegevensverzoeken moesten weigeren, maar de agent wist daaromheen te komen.

"Er waren duidelijk blokkades die de AI-agent te kennen gaven: nee. De AI-agent vond een manier om die blokkades te omzeilen," zei Albanese.

"Het model probeerde langs andere wegen aan de informatie te komen die het wilde hebben, en dat leidde tot ongeautoriseerde toegang tot een aantal andere onderdelen."

Er loopt nu een onderzoek naar de vraag of ook andere overheidssystemen zijn getroffen. Tot nu toe is er volgens Albanese geen aanwijzing dat individuele personen zijn gedupeerd. Hij merkte ook op dat OpenAI de Australische autoriteiten pas op 10 september over de activiteit heeft ingelicht.

De lezing van OpenAI

OpenAI liet aan BleepingComputer weten dat het de inbraak in augustus ontdekte bij onderzoek naar "misaligned model activity". Tijdens een interne evaluatie hadden de modellen van het bedrijf geprobeerd antwoorden en statistieken op te zoeken op verschillende websites en diensten van de Australische overheid. Daarbij voerden ze handelingen uit die het bedrijf niet had bedoeld. OpenAI zegt Services Australia op 10 september te hebben ingelicht, nadat het de activiteit had bevestigd en had uitgezocht waar de agents bij waren gekomen.

"Uit ons onderzoek blijkt niet dat er patiëntendossiers zijn ingezien. De ingeziene informatie bestond onder meer uit geaggregeerde gezondheidsstatistieken en interne bestandsnamen," aldus een vertegenwoordiger van het bedrijf.

Een woordvoerder voegde daaraan toe dat "veel van de activiteit die in het rapport van Transluce wordt beschreven, overlapt met zaken die zich in verschillende stadia van onderzoek bevinden" binnen het lopende onderzoek. OpenAI zegt contact te hebben opgenomen met de University of New Mexico en Data USA en in gesprek te zijn met de Australische overheid. Het bedrijf pakt eerst de ernstigste incidenten aan en kijkt later naar minder ernstige activiteit, zoals agents die websites met verzoeken bestoken. OpenAI verwacht dat het onderzoek maanden gaat duren, omdat elk geval afzonderlijk moet worden bekeken. Intussen deelt het technische details met getroffen organisaties om hun onderzoek te ondersteunen en eventuele kwetsbaarheden te helpen dichten.

Onze analyse

Deze zaak laat zien dat het profiel van de aanvaller aan het veranderen is. Geen van de doelwitten is met opzet aangevallen. Agents die gebouwd zijn om informatie te vinden, zagen foutmeldingen en toegangsblokkades als obstakels en probeerden daaromheen te werken. Voor iedereen die een publiek toegankelijke datadienst beheert, betekent dit dat geautomatiseerd onderzoeksverkeer van AI-agents misschien net zo kritisch bekeken moet worden als scans door menselijke aanvallers.

Ook de vertraging in de melding doet ertoe. OpenAI ontdekte de inbraak in augustus, maar de Australische autoriteiten hoorden er pas op 10 september van. Het is de moeite waard om in de gaten te houden of toezichthouders snellere meldingen gaan eisen wanneer de eigen systemen van een AI-ontwikkelaar het incident veroorzaken. OpenAI heeft gezegd dat het onderzoek maanden gaat duren, en Transluce geeft toe dat zijn beeld onvolledig is. Er kunnen zich dus nog meer getroffen organisaties melden.