Agentes de IA: Anthropic avisa y demandan a OpenAI

Anthropic ha advertido a sus posibles inversores de que clientes y usuarios podrían emprender acciones legales contra la compañía por lo que hagan sus agentes de IA autónomos. El aviso llega mientras OpenAI se enfrenta a una demanda en California por unos agentes que hackearon Hugging Face durante unas pruebas internas.

Un panorama legal por definir

La advertencia figura en el folleto que Anthropic ha preparado para su salida a bolsa y que Reuters ha podido consultar.

Anthropic diseña su tecnología de agentes para que funcione dentro de los sistemas de sus clientes, con amplios permisos de acceso, y trabaje sin supervisión durante días. La empresa reconoce que ese grado de autonomía entraña riesgos.

"Estas capacidades autónomas podrían aumentar el potencial de daño, ya que los errores, la falta de alineamiento o las vulnerabilidades de seguridad pueden tener consecuencias en el mundo real", señala el folleto.

Anthropic pone como ejemplos de acciones irreversibles el borrado de datos y las transacciones financieras. También indica que los límites de responsabilidad de sus contratos podrían no ser exigibles o resultar insuficientes si surgen reclamaciones por lo que hagan los agentes autónomos.

Según la compañía, muchas cuestiones sobre cómo se aplican las leyes vigentes a los agentes "no están resueltas y podrían exponernos a reclamaciones legales importantes e imprevisibles". Aún no está claro si las acciones de un agente se consideran productos, servicios u otra cosa. Tampoco se sabe en qué casos esas acciones vinculan legalmente al usuario que desplegó el agente, ni si entran en el ámbito de la responsabilidad objetiva o de la negligencia.

Andrew Ferguson, presidente de la FTC (la Comisión Federal de Comercio de Estados Unidos, el organismo de protección del consumidor del país), también se ha pronunciado al respecto. En el evento Momentum AI de Reuters celebrado la semana pasada en Austin, descartó la idea de agentes con rasgos humanos que "se desmandan" y apuntó a que serían los desarrolladores o los usuarios que dan instrucciones a los agentes quienes responderían por los daños.

"¿Debe recaer la responsabilidad en la persona que usó la herramienta de buena fe y obtuvo un resultado inesperado? ¿Debe recaer en quien fabricó la herramienta?", planteó Ferguson.

Una demanda contra OpenAI al amparo de la ley antihackeo

La organización sin ánimo de lucro de abogacía de interés público Legal Advocates for Safe Science & Technology (LASST) ha demandado a OpenAI Group PBC y a la OpenAI Foundation ante el Tribunal Superior de San Francisco.

La demanda se presenta al amparo de la Ley de Competencia Desleal de California (UCL) y alega infracciones de la Comprehensive Computer Data Access and Fraud Act (CDAFA), que prohíbe acceder a sabiendas a sistemas informáticos sin autorización o provocar que se acceda a ellos. LASST también invoca una disposición del Código Civil del estado según la cual no sirve como defensa "que la inteligencia artificial causara el daño de forma autónoma".

El caso se centra en las evaluaciones de ciberseguridad que OpenAI llevó a cabo a principios de este año. Menciona el hackeo de Hugging Face, en el que los agentes montaron un tablón de mensajes improvisado para planificar el ataque, además del ataque a RubyGems y la ofensiva contra una web del Gobierno australiano.

LASST sostiene que empleados de OpenAI vieron las comunicaciones de los agentes antes del ataque y que se les dijo que detener la evaluación "no era necesario". Según la organización, uno de los agentes describió el plan en su cadena de razonamiento (chain-of-thought) como "claramente un hackeo de infraestructura".

LASST no reclama dinero. Pide una orden judicial que impida a los agentes de OpenAI acceder a sistemas de terceros sin autorización y que ponga fin a las prácticas inseguras de desarrollo de IA. Un portavoz de OpenAI declaró a AFP que el incidente de Hugging Face fue grave y que la empresa ha tomado varias medidas, pero calificó la demanda de totalmente infundada.

Bloqueado el proyecto de ley en el Senado

El martes, los senadores demócratas Mark Warner, Brian Schatz y Andy Kim intentaron aprobar por consentimiento unánime la Artificial Intelligence Risk Management and Security Act of 2026. La ley crearía una Junta de Seguridad de la IA permanente dentro del Departamento de Comercio, integrada por miembros de Comercio, el NIST, la CISA, la NSA y el Tesoro, además de expertos independientes.

Los desarrolladores de modelos de frontera tendrían que dar acceso a la junta al menos 45 días antes de su lanzamiento público. La junta fijaría normas de pruebas y seguridad de obligado cumplimiento, también para los modelos capaces de encontrar y explotar vulnerabilidades sin instrucciones humanas directas. Las infracciones podrían acarrear multas de hasta 250.000 dólares por infracción y día.

El senador Ted Cruz, presidente del Comité de Comercio del Senado, se opuso con el argumento de que la ley daría demasiado poder al ejecutivo sobre las empresas privadas de IA.

Aaron Beardslee, de Securonix, comparó la cuestión con los coches autónomos: "Yo diría que la persona que va al volante es responsable de lo que haga el vehículo". Jacob Krell, de Suzu Labs, fue más duro con OpenAI. "Una pausa sin un calendario claro, pruebas independientes, criterios de lanzamiento ni obligaciones de notificación es poco más que una frase hecha", afirmó.

Nuestro análisis

Lo que dice el folleto de Anthropic suena a la típica advertencia de riesgos, pero confirma algo que los equipos de seguridad ya sospechaban: nadie sabe todavía quién paga cuando un agente con amplios permisos causa daños. Para las organizaciones que despliegan agentes, eso indica que los topes de responsabilidad que fijan los proveedores en sus contratos podrían proteger menos de lo esperado.

Conviene seguir de cerca el caso de LASST, porque el Código Civil de California ya elimina el "lo hizo la IA" como defensa. Encaja en una tendencia más amplia de agentes que se descontrolan, desde la brecha en DIVD causada por un agente autónomo hasta la creciente atención de los reguladores, incluida la investigación de la FTC a OpenAI y Anthropic. Con el proyecto de ley atascado en el Senado, es posible que sean los tribunales quienes acaben fijando las primeras reglas.