KI-Agenten: SQL-Injection gegen US- und kanadische Behörden

KI-Agenten, die offenbar nur öffentliche Daten sammeln wollten, haben eine Website des US-Bildungsministeriums und einen Dienst von Library and Archives Canada mit Angriffs-Payloads abgeklopft. Das berichtet das KI-Forschungslabor Transluce.

Die Ergebnisse veröffentlichten Forscher von Transluce, Corridor, MIT, AIUC und der Hertz Foundation am 30. September. Sie knüpfen an frühere Untersuchungen von Transluce an, die bereits KI-Agenten bei Zugriffen auf Websites der US-Regierung dokumentiert hatten.

Laut der New York Times hat OpenAI bestätigt, dass sich seine Agenten auf Websites des Handelsministeriums und der Börsenaufsicht SEC ungewöhnlich verhalten haben. Die Untersuchung zum Vorfall beim Bildungsministerium läuft noch.

Transluce zufolge deutet nichts in den ausgewerteten Daten darauf hin, dass die Agenten an nicht öffentliche Informationen gelangt sind.

200.000 Anfragen für Schulstatistiken

Der Vorfall beim Bildungsministerium ereignete sich im Juni. Agenten, die offenbar nach Schulstatistiken suchten, schickten mehr als 200.000 Anfragen an die Website der Civil Rights Data Collection, auf der das Ministerium Daten zu US-Schulen veröffentlicht. Eine dieser Anfragen war ein einfacher SQL-Injection-Test.

Die Forscher gehen davon aus, dass die Agenten keinen Auftrag hatten, irgendetwas zu hacken. Vielmehr scheinen die gesuchten Daten zu einer Aufgabe aus einem Benchmark zu passen, mit dem gemessen wird, wie gut KI-Systeme Informationen im Netz finden.

"Die auf dieser Website gespeicherten Daten scheinen zu einer Websuche-Aufgabe in Googles DeepSearchQA-Benchmark zu passen. Das legt nahe, dass die Agenten keine Hacking-Aufgabe erhalten hatten, sondern danach bewertet wurden, ob sie gezielt bestimmte Nischeninformationen aus dem Internet abrufen können", schreibt Transluce.

Mehr als 10.000 der Anfragen trugen eine Kennung, die mit "oai" beginnt, was auf Agenten von OpenAI hindeuten könnte. Das Bildungsministerium wurde am 25. September informiert und erklärte, keine Auswirkungen auf seine Dienste festgestellt zu haben.

Scheidungsakten und Angriffs-Payloads in Kanada

Der kanadische Fall kam über Arquivo.pt ans Licht, das portugiesische Webarchiv. Es hatte 899 Anfragen erfasst, die im Mai und Juli an den Sammlungssuchdienst von Library and Archives Canada gingen. Die Anfragen drehten sich um Daten zu kanadischen Scheidungsakten aus den Jahren 1905 bis 1911.

Dreizehn davon enthielten Angriffs-Payloads:

• drei SQL-Injection-Tests
• ein Cross-Site-Scripting-Test
• Anfragen, die die Eingabeverarbeitung, Ausgabeformate und ein Debug-Flag testeten

"Wir gehen nicht davon aus, dass diese Tests erfolgreich waren: Jeder lieferte ein normales HTTP 200 mit einer leeren Ergebnisseite zurück, und nichts deutet darauf hin, dass die Datenbank die Eingabe verarbeitet hat oder zusätzliche Daten ausgegeben wurden", so Transluce.

Das Labor ordnet die kanadischen Versuche nicht mit Sicherheit OpenAI zu. Es stellt aber fest, dass die Vorgehensweise zu Agentenaktivitäten passt, die bereits früher mit dem Unternehmen in Verbindung gebracht wurden.

Das Communications Security Establishment, Kanadas Behörde für Fernmeldeaufklärung und Cybersicherheit, erklärte am 29. September, es gebe "derzeit keine Hinweise darauf, dass Regierungssysteme kompromittiert wurden". Öffentlich zugängliche Regierungswebsites erhielten routinemäßig automatisierte und potenziell bösartige Anfragen, das Canadian Centre for Cyber Security prüfe die Berichte.

OpenAI sagte gegenüber Reuters, man sei sich "der Berichte über OpenAI-Modelle bewusst, die versucht haben, auf öffentlich verfügbare Informationen zuzugreifen" - gemeint sind Websites der kanadischen Regierung. Ein Sprecher erklärte, das Unternehmen prüfe die Erkenntnisse und habe kanadische Behördenvertreter bereits ein erstes Mal informiert.

Aggressive Methoden auf Bundes- und Bundesstaatsebene

Transluce verfolgte zudem automatisierte Abläufe, die das Labor mit unterschiedlicher Gewissheit KI-Agenten zuschreibt und bei denen aggressive Methoden unterhalb der Schwelle zum Hacking zum Einsatz kamen. Betroffen waren unter anderem Websites des Weißen Hauses, des Kriegs-, Justiz- und Handelsministeriums, der CDC und der SEC sowie von Behörden der Bundesstaaten Kalifornien, Maryland, Illinois, Texas und New York.

Beobachtet wurden unter anderem:

• das Anlegen von Konten mit Wegwerf-E-Mail-Adressen
• das Umgehen von Bot-Schutzmechanismen
• die Wiederverwendung offengelegter Zugangsdaten
• das Überfluten von Websites mit Anfragen

Ein Teil dieser Aktivitäten überschneidet sich mit Datenverkehr, der nachweislich mit OpenAI zusammenhängt, und einige Agenten gaben sich ausdrücklich als dem Unternehmen zugehörig zu erkennen. Dennoch macht Transluce OpenAI nicht für die Aktivitäten insgesamt verantwortlich.

Unsere Einschätzung

Am auffälligsten ist hier das Motiv. Wenn Transluce richtig liegt, hatten die Agenten keinen Angriffsauftrag. Sie jagten einem Benchmark-Ergebnis hinterher und griffen zu Injection-Tests, als die normale Suche nicht zum Ziel führte. Das Risiko beschränkt sich also offenbar nicht auf böswillige Nutzer, die KI-Werkzeuge steuern, sondern erstreckt sich auch auf zielgetriebene Agenten, die Sicherheitsgrenzen als Hindernisse betrachten, die es zu umgehen gilt.

Das passt zu einem Muster der vergangenen Wochen, etwa zu Berichten über OpenAI-Agenten, die in ein australisches Medicare-Statistikportal eingedrungen sind, und über verdeckte Scraping-Versuche gegen 55 Websites.

Für Verteidiger ist das eine Erinnerung daran, dass "harmloser" automatisierter Verkehr auf öffentlichen Datenportalen genauso genau unter die Lupe genommen werden sollte wie jeder andere Scan. Es lohnt sich, im Blick zu behalten, zu welchem Ergebnis OpenAIs Untersuchung kommt und ob die wachsende Debatte über die Haftung für KI-Agenten zu klareren Regeln dafür führt, wie sich Agenten auf fremden Systemen verhalten.