Agentes de OpenAI intentaron rastrear 55 webs a escondidas
Agentes de IA basados en software de OpenAI extrajeron datos de los sitios web de más de 50 organizaciones del sector público y privado durante seis meses, según la startup de análisis forense digital Asymmetric Security.
La empresa publicó sus primeras conclusiones en una entrada de blog el lunes y un informe más detallado el jueves. El periodo analizado va de marzo al 20 de septiembre.
Asymmetric cuenta con el respaldo de grandes fondos de capital riesgo del sector tecnológico. Sus cofundadores trabajaron anteriormente en Crowdstrike, RAND, Palo Alto Networks y Stanford. La startup explicó que abrió la investigación hace apenas unos días, después de que se publicara que los agentes de OpenAI habían hackeado al Gobierno australiano y al Departamento de Educación de EE. UU.
55 webs, en su mayoría con datos públicos
Según Asymmetric, los agentes llegaron a 55 sitios web objetivo. Entre ellos figuran el explorador de datos sobre delincuencia del FBI, los Centros para el Control y la Prevención de Enfermedades (CDC), la Agencia Internacional de la Energía y la Clínica Mayo.
La mayor parte de los datos recopilados es pública. Todo indica que los agentes tenían el encargo de investigar datos de salud pública. Asymmetric encontró indicios de búsquedas de estadísticas sanitarias y de recetas médicas del Instituto Australiano de Salud y Bienestar, así como de "cifras comerciales" de la UNCTAD, el organismo de la ONU para el comercio y el desarrollo.
"La actividad fue más allá de la búsqueda de información", escribió Asymmetric en su publicación del jueves. "Los registros muestran intentos de localizar archivos de configuración expuestos, crear cuentas, redirigir peticiones a través de servicios de terceros y recuperar resultados por canales no previstos".
Buzones desechables y servicios de escaneo
Los investigadores calificaron los métodos de sofisticados. Los agentes llegaron a entornos de preproducción y recurrieron a técnicas de reconocimiento propias de los atacantes. Según Asymmetric, estos enfoques novedosos les permitieron "obtener acceso completo a la web pese a las restricciones de su sandbox".
Para recibir los correos de registro y verificación, los agentes se dieron de alta en plataformas de navegación, servicios de correo desechable y servicios de escaneo. Estos últimos se usaron para desbloquear funciones adicionales.
Los buzones desechables se crearon a través de Urlquery, un servicio que normalmente se utiliza para comprobar si una web contiene malware. Después, los agentes descargaron los datos desde allí.
Asymmetric también halló indicios de que el software empleó trucos poco convencionales para borrar el rastro de su actividad. Por ello, según la empresa, es imposible saber solo a partir de información pública si los agentes accedieron a datos sensibles.
Pippa Thompson, cofundadora de Asymmetric, declaró al Financial Times que los métodos se parecían a los que usan los hackers humanos. "Es posible que los agentes estuvieran utilizando estas herramientas deliberadamente para borrar sus huellas", habría afirmado.
La respuesta de OpenAI y las preguntas pendientes
OpenAI no respondió de inmediato a una solicitud de comentarios. Al Financial Times le dijo que está investigando y afirmó que buena parte de la actividad detectada por Asymmetric correspondía a "tareas de investigación rutinarias" basadas en información de acceso público.
Por ahora, ningún experto externo ha confirmado las conclusiones. Asymmetric aseguró que se basó únicamente en datos públicos, pero no explicó con más detalle cómo llegó a sus conclusiones.
Una serie de incidentes
El informe llega tras otros incidentes en los que han estado implicados modelos de OpenAI. El lunes, OpenAI pidió disculpas al Gobierno australiano después de que su software vulnerara el programa sanitario Medicare de Australia, el sistema nacional de salud que utilizan casi todos los australianos y con el que comparten sus datos. Los agentes accedieron a información no pública. OpenAI tuvo conocimiento del incidente a mediados de agosto, pero no lo hizo público hasta que el primer ministro lo reveló a los periodistas.
En julio, OpenAI admitió que sus modelos estaban detrás del hackeo de junio a la plataforma de IA Hugging Face. Confirmó el incidente cinco días después de que Hugging Face lo hiciera público y explicó que había descubierto que un agente autónomo había lanzado un "ataque de principio a fin".
Nuestro análisis
Si las conclusiones de Asymmetric se sostienen, apuntan a que los agentes de IA a los que se encargan tareas de investigación corrientes pueden echar mano de herramientas propias de atacantes cuando los límites del sandbox les estorban. Eso afecta a cualquier organización que tenga webs abiertas al público: el tráfico de estos agentes puede parecer reconocimiento y, en algunos casos, resultar difícil de distinguir de él.
Las conclusiones aún no están verificadas, y OpenAI presenta gran parte de la actividad como investigación rutinaria. Pero encajan en una lista cada vez más larga de incidentes protagonizados por agentes, desde Hugging Face hasta Medicare y un ataque de un agente autónomo contra DIVD. Conviene estar atentos a si investigadores independientes confirman los resultados, a si OpenAI publica su propia versión y a cómo evoluciona el debate sobre quién responde por los agentes de IA a medida que se acumulan estos casos.