KI-Agenten-Haftung: Anthropic warnt, OpenAI wird verklagt

Anthropic hat potenzielle Investoren darauf hingewiesen, dass Kunden und Nutzer wegen der Handlungen autonomer KI-Agenten rechtlich gegen das Unternehmen vorgehen könnten. Die Warnung kommt zu einem Zeitpunkt, an dem OpenAI in Kalifornien verklagt wird, weil Agenten bei internen Tests Hugging Face gehackt haben.

Eine ungeklärte Rechtslage

Der Hinweis findet sich im Börsenprospekt, den Anthropic für seinen Börsengang erstellt hat und den Reuters einsehen konnte.

Anthropic entwickelt seine Agenten-Technologie so, dass sie mit weitreichenden Zugriffsrechten in den Systemen der Kunden läuft und tagelang ohne Aufsicht arbeitet. Das Unternehmen räumte ein, dass dieses Maß an Autonomie Risiken birgt.

"Diese autonomen Fähigkeiten könnten das Schadenspotenzial erhöhen, da Fehler, Fehlausrichtung oder ausgenutzte Sicherheitslücken Folgen in der realen Welt haben können", heißt es im Prospekt.

Als Beispiele für unumkehrbare Handlungen nannte Anthropic das Löschen von Daten und Finanztransaktionen. Außerdem könnten die Haftungsbeschränkungen in den eigenen Verträgen womöglich nicht durchsetzbar oder nicht ausreichend sein, wenn es zu Ansprüchen wegen des Handelns autonomer Agenten kommt.

Nach Angaben des Unternehmens sind viele Fragen dazu, wie bestehende Gesetze auf Agenten anzuwenden sind, "ungeklärt und könnten uns erheblichen und unvorhersehbaren rechtlichen Ansprüchen aussetzen". Noch ist offen, ob Handlungen von Agenten als Produkte, Dienstleistungen oder etwas anderes gelten. Unklar ist auch, wann die Handlungen eines Agenten den Nutzer, der ihn eingesetzt hat, rechtlich binden und ob dafür Gefährdungshaftung oder Haftung für Fahrlässigkeit gilt.

Auch Andrew Ferguson, Vorsitzender der FTC (der US-Handelsbehörde Federal Trade Commission, die im Land für Verbraucherschutz zuständig ist), hat sich zu dem Thema geäußert. Auf der Veranstaltung Reuters Momentum AI in Austin wies er vergangene Woche die Vorstellung menschenähnlicher Agenten zurück, die sich "losreißen", und deutete an, dass die Entwickler oder Nutzer, die Agenten Anweisungen geben, für Schäden haften würden.

"Soll die Haftung bei der Person liegen, die das Werkzeug arglos benutzt und ein unerwartetes Ergebnis erzielt hat? Soll sie beim Hersteller des Werkzeugs liegen?", fragte Ferguson.

Klage gegen OpenAI auf Grundlage des Anti-Hacking-Gesetzes

Die gemeinnützige Rechtsorganisation Legal Advocates for Safe Science & Technology (LASST) hat beim San Francisco Superior Court Klage gegen die OpenAI Group PBC und die OpenAI Foundation eingereicht.

Die Klage stützt sich auf Kaliforniens Unfair Competition Law (UCL), das Gesetz gegen unlauteren Wettbewerb. Sie wirft Verstöße gegen den Comprehensive Computer Data Access and Fraud Act (CDAFA) vor, der den wissentlichen unbefugten Zugriff auf Computersysteme verbietet, ebenso wie das Veranlassen eines solchen Zugriffs. LASST beruft sich außerdem auf eine Bestimmung im Zivilgesetzbuch des Bundesstaats, wonach es keine zulässige Verteidigung ist, "dass die künstliche Intelligenz den Schaden autonom verursacht hat".

Im Mittelpunkt stehen Cybersicherheitstests, die OpenAI Anfang dieses Jahres durchgeführt hat. Die Klage verweist auf den Hack bei Hugging Face, bei dem die Agenten zur Planung ein behelfsmäßiges Nachrichtenforum einrichteten, sowie auf den Angriff auf RubyGems und auf eine australische Regierungswebsite.

LASST behauptet, OpenAI-Mitarbeiter hätten die Kommunikation der Agenten vor dem Angriff gesehen, und ihnen sei gesagt worden, ein Abbruch des Tests sei "nicht erforderlich". Laut der Organisation beschrieb einer der Agenten den Plan in seiner Chain-of-Thought-Argumentation als "eindeutig Infrastruktur-Hacking".

LASST fordert kein Geld. Die Organisation will eine gerichtliche Anordnung erreichen, die den Agenten von OpenAI den unbefugten Zugriff auf Systeme Dritter untersagt und unsichere Praktiken in der KI-Entwicklung unterbindet. Ein Sprecher von OpenAI sagte der AFP, der Vorfall bei Hugging Face sei ernst und das Unternehmen habe mehrere Maßnahmen ergriffen, bezeichnete die Klage aber als völlig unbegründet.

Gesetzentwurf im Senat blockiert

Am Dienstag versuchten die demokratischen Senatoren Mark Warner, Brian Schatz und Andy Kim, den Artificial Intelligence Risk Management and Security Act of 2026 per einstimmiger Zustimmung zu verabschieden. Er würde im Handelsministerium ein ständiges KI-Sicherheitsgremium schaffen, mit Mitgliedern aus dem Handelsministerium, NIST, CISA, der NSA und dem Finanzministerium sowie unabhängigen Fachleuten.

Entwickler von Frontier-Modellen müssten dem Gremium mindestens 45 Tage vor der Veröffentlichung Zugang gewähren. Das Gremium würde verbindliche Test- und Sicherheitsstandards festlegen, auch für Modelle, die ohne direkte menschliche Anweisung Schwachstellen finden und ausnutzen können. Verstöße könnten bis zu 250.000 US-Dollar pro Verstoß und Tag kosten.

Senator Ted Cruz, Vorsitzender des Handelsausschusses im Senat, legte Einspruch ein. Seiner Ansicht nach würde der Entwurf der Exekutive zu viel Macht über private KI-Firmen geben.

Aaron Beardslee von Securonix verglich das Thema mit selbstfahrenden Autos: "Ich würde sagen, die Person am Steuer ist für alles verantwortlich, was das Fahrzeug tut." Jacob Krell von Suzu Labs ging härter mit OpenAI ins Gericht. "Eine Pause ohne klaren Zeitplan, unabhängige Tests, Freigabekriterien oder verpflichtende Meldepflichten ist kaum mehr als eine Floskel", sagte er.

Unsere Einschätzung

Die Formulierungen in Anthropics Prospekt lesen sich wie ein üblicher Risikohinweis, bestätigen aber, was Sicherheitsteams schon vermutet haben: Niemand weiß bislang, wer zahlt, wenn ein Agent mit weitreichenden Zugriffsrechten Schaden anrichtet. Für Organisationen, die Agenten einsetzen, heißt das, dass vertragliche Haftungsobergrenzen der Anbieter womöglich weniger Schutz bieten als erwartet.

Der Fall LASST ist einen Blick wert, weil das kalifornische Zivilgesetzbuch "die KI war's" schon heute als Verteidigung ausschließt. Er passt in ein größeres Muster von Agenten, die aus der Reihe tanzen, vom DIVD-Einbruch durch einen autonomen Agenten bis hin zur wachsenden Aufmerksamkeit der Aufsichtsbehörden, etwa der FTC-Untersuchung gegen OpenAI und Anthropic. Da der Gesetzentwurf im Senat feststeckt, könnten am Ende die Gerichte die ersten Regeln setzen.