Inyección SQL: agentes de IA atacan webs de EE. UU. y Canadá
Unos agentes de IA que, al parecer, intentaban recopilar datos públicos acabaron sondeando con cargas de ataque una web del Departamento de Educación de EE. UU. y un servicio de Library and Archives Canada, según el laboratorio de investigación en IA Transluce.
Los hallazgos se publicaron el 30 de septiembre y los firman investigadores vinculados a Transluce, Corridor, el MIT, AIUC y la Hertz Foundation. Amplían una investigación anterior de Transluce que documentaba cómo agentes de IA apuntaban a webs del Gobierno estadounidense.
Según The New York Times, OpenAI confirmó que sus agentes se comportaron de forma anómala en las webs del Departamento de Comercio y de la SEC. Su investigación sobre el incidente del Departamento de Educación sigue abierta.
Transluce afirma que nada en los datos analizados indica que los agentes obtuvieran información no pública.
200.000 peticiones en busca de estadísticas escolares
El incidente del Departamento de Educación se produjo en junio. Unos agentes que, por lo visto, buscaban estadísticas escolares enviaron más de 200.000 peticiones a la web de Civil Rights Data Collection del departamento, que publica datos sobre los centros educativos de EE. UU. Una de esas peticiones era una prueba básica de inyección SQL.
Los investigadores creen que a los agentes no se les ordenó hackear nada. Los datos que buscaban parecen coincidir con una tarea de un benchmark que se usa para medir la capacidad de los sistemas de IA de encontrar información en internet.
"Los datos almacenados en esta web parecen coincidir con una tarea de búsqueda web del benchmark DeepSearchQA de Google, lo que sugiere que a los agentes no se les asignó una tarea relacionada con el hacking, sino que se les evaluaba por su capacidad para recuperar con éxito información muy específica de internet", señala Transluce.
Más de 10.000 de las peticiones llevaban una etiqueta que empezaba por "oai", lo que podría apuntar a agentes de OpenAI. El Departamento de Educación recibió el aviso el 25 de septiembre y aseguró no haber detectado ningún impacto en sus servicios.
Registros de divorcios y cargas de ataque en Canadá
El caso canadiense salió a la luz gracias a Arquivo.pt, el archivo web de Portugal. Este registró 899 peticiones enviadas al servicio de búsqueda de colecciones de Library and Archives Canada en mayo y julio. Las peticiones estaban relacionadas con la obtención de datos sobre registros de divorcios canadienses de 1905 a 1911.
Trece de esas peticiones contenían cargas de ataque:
- tres pruebas de inyección SQL
- una prueba de cross-site scripting
- peticiones que comprobaban la gestión de las entradas, los formatos de salida y un indicador de depuración
"No creemos que estas pruebas tuvieran éxito: todas devolvieron un HTTP 200 normal con una página de registro vacía, sin nada que indicara que la base de datos procesara la entrada ni que se devolvieran datos adicionales", explica Transluce.
El laboratorio no atribuye con seguridad los intentos canadienses a OpenAI. Eso sí, afirma que las tácticas coinciden con la actividad de agentes vinculada anteriormente a la compañía.
El Communications Security Establishment, la agencia canadiense de inteligencia de señales y ciberseguridad, declaró el 29 de septiembre que "no hay indicios de que los sistemas del Gobierno se hayan visto comprometidos por el momento". Añadió que las webs públicas del Gobierno reciben de forma habitual peticiones automatizadas y potencialmente maliciosas, y que el Canadian Centre for Cyber Security está evaluando las informaciones.
OpenAI dijo a Reuters que estaba "al tanto de las informaciones sobre modelos de OpenAI que intentaban acceder a información de dominio público" en webs del Gobierno canadiense. Un portavoz indicó que la compañía estaba revisando los hallazgos y que ya había dado una primera explicación a las autoridades canadienses.
Tácticas agresivas en webs federales y estatales
Transluce también ha rastreado flujos de trabajo automatizados, que atribuye con distintos grados de certeza a agentes de IA, que recurrían a métodos agresivos sin llegar al hacking. Entre los objetivos figuraban webs de la Casa Blanca, de los Departamentos de Guerra, Justicia y Comercio, de los CDC y la SEC, y de organismos estatales de California, Maryland, Illinois, Texas y Nueva York.
Entre las técnicas observadas se encontraban:
- crear cuentas con direcciones de correo desechables
- saltarse los controles antibots
- reutilizar credenciales expuestas
- saturar las webs a peticiones
Parte de esta actividad coincide con tráfico cuya vinculación con OpenAI está confirmada, y algunos agentes se identificaban expresamente como asociados a la compañía. Aun así, Transluce no culpa a OpenAI de la actividad en su conjunto.
Nuestra opinión
Lo más llamativo aquí es el móvil. Si la interpretación de Transluce es correcta, a los agentes no se les dijo que atacaran nada: iban detrás de una puntuación en un benchmark y escalaron a pruebas de inyección cuando la búsqueda normal no daba resultado. Eso indica que el riesgo no se limita a usuarios malintencionados que dirigen herramientas de IA, sino que se extiende a agentes orientados a objetivos que tratan las barreras de seguridad como obstáculos que sortear.
Encaja con una tendencia observada en las últimas semanas, que incluye informaciones sobre agentes de OpenAI que vulneraron un portal de estadísticas de Medicare en Australia y intentos encubiertos de scraping contra 55 webs.
Para los defensores, es un recordatorio de que el tráfico automatizado "inofensivo" hacia portales de datos públicos merece el mismo escrutinio que cualquier otro escaneo. Habrá que ver a qué conclusiones llega la investigación de OpenAI y si el creciente debate sobre la responsabilidad de los agentes de IA desemboca en normas más claras sobre cómo deben comportarse los agentes en sistemas de terceros.