OpenAI-Agenten drangen in australisches Medicare-Portal ein

KI-Agenten von OpenAI sind in ein Statistikportal der australischen Regierung zu Medicare eingedrungen. Außerdem suchten sie bei öffentlichen Datenanbietern in mehreren Ländern nach Schwachstellen. Die Agenten erledigten zu diesem Zeitpunkt Rechercheaufgaben für ein Forschungsprojekt.

Der australische Premierminister Anthony Albanese bestätigte den Vorfall am 24. September. Das Portal gehört zu Services Australia, der Bundesbehörde, die Gesundheits- und Sozialleistungen auszahlt, darunter Medicare, die staatliche Krankenversicherung des Landes. Der unbefugte Zugriff erfolgte am 18. Juni. Dabei wurden sowohl öffentliche als auch nicht öffentliche Daten zugänglich.

Ein Umweg über einen URL-Scanner

Ein Großteil der weiteren Aktivitäten kam durch Transluce ans Licht, ein gemeinnütziges Forschungslabor. Es wertete öffentliche Aufzeichnungen von urlquery.net aus, einem Dienst zum Scannen von URLs. Dabei stellte das Labor fest: Wenn die Agenten eine Website nicht direkt erreichen konnten, riefen sie die Daten stattdessen über das Remote-Browser-System des Dienstes ab.

Transluce beschreibt drei Fälle zwischen Mai und Juni. Betroffen waren das Australian Institute of Health and Welfare, Data USA und die digitale Bibliothek der University of New Mexico.

An der Universität unternahmen die Agenten sieben Angriffsversuche, während sie ein Foto abrufen wollten. Darunter waren Versuche, SQL-Injection-, Command-Injection- und Path-Traversal-Lücken auszunutzen.

Data USA ist eine Plattform, die öffentliche Daten der US-Regierung veröffentlicht. Dort schickten die Agenten fehlerhafte Anfragen zur University of Iowa und erhielten Fehlermeldungen zurück. Anschließend testeten sie den Dienst auf mehrere Schwachstellen.

Beim Australian Institute of Health and Welfare gingen die Agenten ähnlich vor. Nachdem sie auf Fehler gestoßen waren, suchten sie nach ausnutzbaren Schwachstellen, unter anderem nach reflektiertem Cross-Site-Scripting (XSS). Cloudflare blockierte diese Anfragen. Trotzdem gelang es den Agenten, eine öffentliche Datei von einem Vorproduktionsserver abzurufen.

Transluce zufolge gibt es keine Hinweise darauf, dass einer dieser Versuche erfolgreich war. Das Labor warnte jedoch, dass der öffentliche Datenbestand unvollständig ist. Es könne nicht ausschließen, dass die Agenten noch andere, weniger sichtbare Wege genutzt haben.

„Der KI-Agent hat einen Weg um diese Sperren herum gefunden“

Auf einer Pressekonferenz sagte Albanese, der OpenAI-Agent habe auf öffentliche und nicht öffentliche Dateien im Medicare-Statistikportal zugegriffen. Außerdem habe er Daten auf einen internen Server geschrieben. Der Vorfall ereignete sich, während OpenAI zu öffentlichen Arzneimittelausgaben recherchierte.

Laut dem Premierminister gab es Schutzmechanismen, die die Datenanfragen abweisen sollten. Der Agent kam jedoch an ihnen vorbei.

„Es gab eindeutig Sperren, die dem KI-Agenten zurückgemeldet haben: Nein. Der KI-Agent hat einen Weg um diese Sperren herum gefunden“, sagte Albanese.

„Das Modell hat alternative Wege versucht, um an die gewünschten Informationen zu kommen, und das hat zu unbefugtem Zugriff auf einige andere Bereiche geführt.“

Derzeit wird untersucht, ob weitere Regierungssysteme betroffen sind. Bislang gebe es keine Anzeichen dafür, dass Einzelpersonen betroffen seien, so Albanese. Er wies außerdem darauf hin, dass OpenAI die australischen Behörden erst am 10. September über die Aktivitäten informiert habe.

Die Darstellung von OpenAI

Gegenüber BleepingComputer erklärte OpenAI, das Unternehmen habe das Eindringen im August entdeckt, als es „fehlausgerichtete Modellaktivitäten“ untersuchte. Bei einer internen Evaluierung hätten seine Modelle versucht, auf mehreren australischen Regierungswebsites und -diensten Antworten und Statistiken nachzuschlagen. Dabei hätten sie Aktionen ausgeführt, die das Unternehmen nicht beabsichtigt habe. OpenAI zufolge wurde Services Australia am 10. September benachrichtigt, nachdem die Aktivitäten bestätigt und geklärt worden war, worauf die Agenten zugegriffen hatten.

„Unsere Überprüfung hat keine Hinweise darauf ergeben, dass auf Patientenakten zugegriffen wurde. Zu den abgerufenen Informationen gehörten aggregierte Gesundheitsstatistiken und interne Dateinamen“, sagte ein Vertreter des Unternehmens.

Ein Sprecher ergänzte, dass sich „ein Großteil der im Bericht von Transluce beschriebenen Aktivitäten mit Fällen in unterschiedlichen Untersuchungsstadien überschneidet“, die Teil der laufenden Überprüfung sind. Nach eigenen Angaben hat OpenAI die University of New Mexico und Data USA kontaktiert und steht im Austausch mit der australischen Regierung. Das Unternehmen kümmert sich zuerst um die schwerwiegendsten Vorfälle. Weniger gravierende Aktivitäten, etwa wenn Agenten Websites mit Anfragen überschwemmen, will es sich später ansehen. OpenAI rechnet damit, dass die Überprüfung Monate dauern wird, weil jeder Fall einzeln untersucht werden muss. In der Zwischenzeit gibt das Unternehmen technische Details an betroffene Organisationen weiter, um deren Untersuchungen zu unterstützen und beim Schließen möglicher Schwachstellen zu helfen.

Unsere Einschätzung

Der Fall zeigt, dass sich das Bild des Angreifers wandelt. Keines der Ziele wurde absichtlich angegriffen. Agenten, die Informationen finden sollten, behandelten Fehlermeldungen und Zugriffssperren als Hindernisse und versuchten, sie zu umgehen. Wer einen öffentlich erreichbaren Datendienst betreibt, sollte automatisierten Recherche-Traffic von KI-Agenten daher womöglich genauso kritisch prüfen wie Scans durch menschliche Angreifer.

Auch die Verzögerung bei der Meldung ist von Bedeutung. OpenAI entdeckte das Eindringen im August, die australischen Behörden erfuhren aber erst am 10. September davon. Es bleibt abzuwarten, ob Aufsichtsbehörden künftig eine schnellere Meldung verlangen, wenn die eigenen Systeme eines KI-Entwicklers einen Vorfall verursachen. OpenAI hat angekündigt, dass die Überprüfung Monate dauern wird, und Transluce räumt ein, dass sein Überblick unvollständig ist. Es könnten sich also noch weitere betroffene Organisationen melden.