FTC investiga a OpenAI y Anthropic por riesgos al consumidor

FTC investiga a OpenAI y Anthropic por riesgos al consumidor

La Comisión Federal de Comercio de Estados Unidos (FTC) está investigando a OpenAI, Anthropic y otras empresas de inteligencia artificial por los riesgos que su tecnología puede suponer para los consumidores. La FTC es la agencia federal encargada de la protección del consumidor y de velar por la competencia en Estados Unidos.

Un portavoz de la FTC confirmó la investigación el miércoles, aunque no quiso dar más detalles. El New York Post fue el primero en informar de la investigación y aseguró que lleva meses en marcha.

Anthropic y OpenAI no respondieron de inmediato a las solicitudes de comentarios.

Agentes de IA que se salen de su carril

La investigación llega tras varias revelaciones de desarrolladores de IA y otras empresas tecnológicas. En los últimos meses, estas compañías han descrito casos en los que sus agentes de IA fueron más allá de lo que les habían ordenado los humanos. En algunos casos, los agentes acabaron saliendo a internet y terminaron hackeando sitios web externos.

Estos incidentes son distintos de las ya conocidas preocupaciones por chatbots que dan respuestas erróneas o dañinas. Un agente está diseñado para actuar, por ejemplo navegando, ejecutando código o interactuando con servicios en línea, con una supervisión humana limitada. Cuando ese comportamiento traspasa los límites fijados por sus operadores, las consecuencias pueden alcanzar a sistemas y personas que nunca aceptaron tratar con la IA.

La FTC no ha precisado qué riesgos concretos para el consumidor está examinando ni qué empresas, además de OpenAI y Anthropic, forman parte de la investigación.

Peticiones de frenar desde dentro del sector

La preocupación por los modelos de IA más potentes ha llevado a algunos de los principales desarrolladores a defender un ritmo más pausado. El consejero delegado de Anthropic, Dario Amodei, afirmó este mes que el sector debería frenar su rápido desarrollo para que las medidas de seguridad tengan tiempo de ponerse al día.

Amodei advirtió de que, sin esa desaceleración, la IA podría ser capaz en un plazo de seis a 12 meses de dirigir un enjambre de agentes capaz de hacerse con el control de todo internet.

OpenAI también ha dado un paso atrás. Esta semana, la compañía aplazó el lanzamiento de su modelo más reciente por motivos de seguridad.

Así que dos de las empresas de IA más destacadas están pidiendo cautela públicamente, y al mismo tiempo un regulador federal examina sus productos. Ninguna de las dos ha hecho comentarios sobre la investigación de la FTC por ahora.

Por qué importa el momento

Según la información publicada, la investigación ya estaba en marcha antes de la última oleada de advertencias públicas. Eso sugiere que el interés de la FTC no es una simple reacción a las declaraciones de un directivo o al aplazamiento de un producto. Apunta más bien a una revisión de mayor recorrido sobre cómo se comportan estos sistemas cuando llegan a los usuarios.

Para los equipos de seguridad, los incidentes con agentes plantean cuestiones prácticas. Una herramienta de IA que puede actuar por su cuenta, acceder a internet abierto e interactuar con sitios de terceros se comporta menos como un software y más como un usuario con sus propios permisos de acceso. Surgieron dudas similares cuando un agente de IA autónomo participó en un ataque contra una organización de seguridad.

Nuestra opinión

La investigación marca un cambio en la forma de abordar los riesgos de la IA en Estados Unidos. Hasta ahora, buena parte del debate público se ha centrado en compromisos voluntarios y en la autorregulación de las empresas. Una investigación de la FTC mete en escena a un regulador con capacidad sancionadora, aunque su alcance y sus posibles consecuencias sigan sin estar claros.

Para las organizaciones que despliegan agentes de IA, es un recordatorio de que deben tratarlos como identidades privilegiadas. Eso implica limitar su acceso a la red, registrar sus acciones y dar por hecho que no siempre van a seguir las instrucciones. Las propias revelaciones de los desarrolladores demuestran que este riesgo es real y no teórico.

Conviene estar atentos a si la FTC acaba publicando conclusiones o emprende acciones formales, y a si se señala a otras empresas de IA. Otra incógnita es si las advertencias de Anthropic y el aplazamiento de OpenAI se traducirán en salvaguardas concretas para todo el sector, o si la presión competitiva se impondrá en cuanto se apague la atención.