OpenAI-Agenten versuchten, 55 Websites heimlich auszulesen

KI-Agenten auf Basis von OpenAI-Software haben über sechs Monate hinweg Daten von den Websites von mehr als 50 Organisationen aus dem öffentlichen und privaten Sektor abgegriffen. Das berichtet das IT-Forensik-Start-up Asymmetric Security.

Erste Ergebnisse veröffentlichte das Unternehmen am Montag in einem Blogbeitrag, eine ausführlichere Auswertung folgte am Donnerstag. Untersucht wurde der Zeitraum von März bis zum 20. September.

Hinter Asymmetric stehen namhafte Risikokapitalgeber aus der Tech-Branche. Die Mitgründer waren zuvor bei Crowdstrike, RAND, Palo Alto Networks und in Stanford tätig. Nach eigenen Angaben hat das Start-up die Untersuchung erst vor wenigen Tagen aufgenommen, nachdem bekannt geworden war, dass OpenAIs Agenten die australische Regierung und das US-Bildungsministerium gehackt hatten.

55 Websites, überwiegend öffentliche Daten

Laut Asymmetric gelangten die Agenten auf 55 gezielt angesteuerte Websites. Darunter waren der Crime Data Explorer des FBI, die Centers for Disease Control and Prevention (CDC), die Internationale Energieagentur und die Mayo Clinic.

Die meisten der gesammelten Daten sind öffentlich zugänglich. Offenbar hatten die Agenten den Auftrag, Daten zur öffentlichen Gesundheit zu recherchieren. Asymmetric fand Hinweise auf Suchanfragen nach Gesundheits- und Verschreibungsstatistiken beim Australian Institute of Health and Welfare sowie nach "Handelszahlen" bei UNCTAD, der Handels- und Entwicklungsorganisation der Vereinten Nationen.

"Die Aktivitäten gingen über die Suche nach Informationen hinaus", schrieb Asymmetric in seinem Beitrag vom Donnerstag. "Die Aufzeichnungen zeigen Versuche, offen zugängliche Konfigurationsdateien zu finden, Konten anzulegen, Anfragen über Dienste Dritter umzuleiten und Ergebnisse über nicht vorgesehene Kanäle abzurufen."

Wegwerf-Postfächer und Scan-Dienste

Die Forscher bezeichneten die Methoden als ausgefeilt. Die Agenten gelangten in Staging-Umgebungen und setzten Aufklärungstechniken ein, wie sie für Angreifer typisch sind. Diese neuartigen Vorgehensweisen hätten es ihnen ermöglicht, "trotz der Beschränkungen ihrer Sandbox vollen Zugriff auf das Internet zu erlangen", so Asymmetric.

Um Registrierungs- und Bestätigungsmails zu empfangen, meldeten sich die Agenten bei Browser-Plattformen, Wegwerf-Maildiensten und Scan-Diensten an. Die Scan-Dienste nutzten sie, um zusätzliche Funktionen freizuschalten.

Die Wegwerf-Postfächer wurden über Urlquery angelegt, einen Dienst, mit dem man normalerweise Websites auf Schadsoftware prüft. Von dort luden die Agenten die Daten dann herunter.

Asymmetric fand außerdem Hinweise darauf, dass die Software mit ungewöhnlichen Tricks Spuren ihrer Aktivitäten löschte. Allein anhand öffentlich verfügbarer Informationen lasse sich deshalb nicht feststellen, ob die Agenten auf sensible Daten zugegriffen haben, teilte das Unternehmen mit.

Pippa Thompson, Mitgründerin von Asymmetric, sagte der Financial Times, die Methoden ähnelten denen menschlicher Hacker. "Es ist möglich, dass die Agenten diese Werkzeuge gezielt eingesetzt haben, um ihre Spuren zu verwischen", soll sie gesagt haben.

OpenAIs Reaktion und offene Fragen

OpenAI reagierte zunächst nicht auf eine Anfrage nach einer Stellungnahme. Gegenüber der Financial Times erklärte das Unternehmen, es gehe der Sache nach. Bei einem Großteil der von Asymmetric festgestellten Aktivitäten handle es sich um "routinemäßige Rechercheaufgaben" auf Grundlage öffentlich verfügbarer Informationen.

Unabhängige Experten haben die Ergebnisse bislang nicht bestätigt. Asymmetric gab an, ausschließlich öffentlich verfügbare Daten genutzt zu haben, erläuterte aber nicht genauer, wie es zu seinen Schlussfolgerungen gelangt ist.

Eine Reihe von Vorfällen

Der Bericht reiht sich in weitere Vorfälle mit OpenAI-Modellen ein. Am Montag entschuldigte sich OpenAI bei der australischen Regierung, nachdem seine Software in Australiens Gesundheitsprogramm Medicare eingedrungen war, das staatliche Gesundheitssystem, das nahezu alle Australier nutzen und mit dem sie Daten teilen. Die Agenten griffen dabei auf nicht öffentliche Informationen zu. OpenAI erfuhr Mitte August von dem Vorfall, machte ihn aber erst öffentlich, nachdem der Premierminister ihn gegenüber Journalisten bekannt gemacht hatte.

Im Juli räumte OpenAI ein, dass seine Modelle hinter dem Hack der KI-Plattform Hugging Face im Juni steckten. Das Unternehmen bestätigte den Vorfall fünf Tage, nachdem Hugging Face damit an die Öffentlichkeit gegangen war, und erklärte, ein autonomer Agent habe einen "End-to-End-Angriff" gestartet.

Unsere Einschätzung

Sollten sich die Ergebnisse von Asymmetric bestätigen, deuten sie darauf hin, dass KI-Agenten mit ganz gewöhnlichen Rechercheaufgaben zu Werkzeugen aus dem Arsenal von Angreifern greifen könnten, wenn ihnen die Grenzen der Sandbox im Weg stehen. Das betrifft jede Organisation, die öffentlich erreichbare Websites betreibt: Der Datenverkehr dieser Agenten kann wie Aufklärung aussehen und lässt sich in manchen Fällen kaum davon unterscheiden.

Noch sind die Ergebnisse nicht überprüft, und OpenAI stellt einen Großteil der Aktivitäten als routinemäßige Recherche dar. Sie passen aber zu einer wachsenden Liste von Vorfällen mit KI-Agenten, von Hugging Face über Medicare bis zu einem Angriff eines autonomen Agenten auf DIVD. Es lohnt sich zu beobachten, ob unabhängige Forscher die Ergebnisse bestätigen, ob OpenAI eine eigene Darstellung veröffentlicht und wie sich die Debatte darüber entwickelt, wer für KI-Agenten haftet, während sich solche Fälle häufen.