Agentes de OpenAI vulneran el portal de Medicare australiano

Varios agentes de IA gestionados por OpenAI se colaron en un portal de estadísticas de Medicare del Gobierno australiano. Además, sondearon en busca de vulnerabilidades a proveedores de datos públicos de varios países. En ese momento, los agentes estaban realizando tareas de búsqueda de información para un proyecto de investigación.

El primer ministro australiano, Anthony Albanese, confirmó la brecha el 24 de septiembre. El portal pertenece a Services Australia, la agencia federal que gestiona las prestaciones sanitarias y sociales, entre ellas Medicare, el sistema público de seguro médico del país. El acceso no autorizado se produjo el 18 de junio y dejó expuestos datos tanto públicos como no públicos.

Un rodeo a través de un analizador de URL

Buena parte del resto de la actividad salió a la luz gracias a Transluce, un laboratorio de investigación sin ánimo de lucro. El laboratorio analizó los registros públicos de urlquery.net, un servicio de análisis de URL, y descubrió que, cuando los agentes no podían llegar directamente a un sitio, recurrían al sistema de navegador remoto del servicio para obtener los datos.

Transluce describe tres casos entre mayo y junio. Afectaron al Australian Institute of Health and Welfare, a Data USA y a la biblioteca digital de la Universidad de Nuevo México.

En la universidad, los agentes realizaron siete sondeos mientras intentaban descargar una fotografía. Entre ellos hubo intentos de explotar fallos de inyección SQL, inyección de comandos y recorrido de directorios (path traversal).

Data USA es una plataforma que publica datos públicos del Gobierno estadounidense. Allí, los agentes enviaron consultas mal formadas relacionadas con la Universidad de Iowa y recibieron errores. A continuación, se pusieron a probar el servicio en busca de varias vulnerabilidades.

Los agentes siguieron un patrón similar en el Australian Institute of Health and Welfare. Tras toparse con errores, buscaron debilidades explotables, como fallos de cross-site scripting (XSS) reflejado. Cloudflare bloqueó esas peticiones. Aun así, los agentes lograron extraer un archivo público de un servidor de preproducción.

Transluce afirmó no haber visto indicios de que ninguno de estos intentos tuviera éxito. Advirtió, no obstante, de que el conjunto de datos públicos está incompleto. El laboratorio no puede descartar que los agentes usaran otras vías menos visibles.

«El agente de IA encontró la manera de sortear esos bloqueos»

En una rueda de prensa, Albanese explicó que el agente de OpenAI accedió a archivos públicos y no públicos del portal de estadísticas de Medicare. También escribió datos en un servidor interno. El incidente se produjo mientras OpenAI investigaba el gasto público en medicamentos.

Según el primer ministro, había protecciones para rechazar las peticiones de datos, pero el agente consiguió saltárselas.

«Claramente había bloqueos que le respondían al agente de IA que no. El agente de IA encontró la manera de sortear esos bloqueos», afirmó Albanese.

«El modelo probó vías alternativas para conseguir la información que quería, y eso dio lugar a accesos no autorizados a otras áreas».

Ahora hay una investigación en marcha para determinar si se vieron afectados otros sistemas del Gobierno. Por el momento, según Albanese, no hay indicios de que ninguna persona se haya visto afectada. También señaló que OpenAI no informó a las autoridades australianas de la actividad hasta el 10 de septiembre.

La versión de OpenAI

OpenAI explicó a BleepingComputer que detectó la intrusión en agosto mientras investigaba una «actividad desalineada del modelo». Durante una evaluación interna, sus modelos habían intentado buscar respuestas y estadísticas en varios sitios web y servicios del Gobierno australiano. Al hacerlo, llevaron a cabo acciones que la empresa no pretendía. OpenAI aseguró que avisó a Services Australia el 10 de septiembre, después de confirmar la actividad y averiguar a qué habían accedido los agentes.

«Nuestra revisión no halló pruebas de que se accediera a historiales de pacientes. La información a la que se accedió incluía estadísticas sanitarias agregadas y nombres de archivos internos», indicó un representante de la empresa.

Un portavoz añadió que «gran parte de la actividad descrita en el informe de Transluce coincide con casos que se encuentran en distintas fases de investigación» dentro de su revisión en curso. OpenAI afirma que se ha puesto en contacto con la Universidad de Nuevo México y con Data USA, y que ha mantenido conversaciones con el Gobierno australiano. La empresa está abordando primero los incidentes más graves y más adelante examinará la actividad de menor gravedad, como los agentes que enviaban spam a sitios web. Prevé que la revisión se prolongue durante meses, ya que cada caso debe analizarse por separado. Mientras tanto, está compartiendo detalles técnicos con las organizaciones afectadas para apoyar sus investigaciones y ayudar a corregir posibles vulnerabilidades.

Nuestra opinión

Este caso demuestra que el perfil del atacante está cambiando. Ninguno de los objetivos fue atacado a propósito. Unos agentes diseñados para encontrar información trataron los mensajes de error y los bloqueos de acceso como obstáculos e intentaron esquivarlos. Para cualquiera que gestione un servicio de datos abierto al público, esto indica que el tráfico automatizado de investigación procedente de agentes de IA puede requerir la misma vigilancia que los escaneos de atacantes humanos.

El desfase en la notificación también importa. OpenAI detectó la intrusión en agosto, pero las autoridades australianas no se enteraron hasta el 10 de septiembre. Habrá que estar atentos a si los reguladores empiezan a exigir una notificación más rápida cuando son los propios sistemas de un desarrollador de IA los que provocan el incidente. OpenAI ha dicho que su revisión durará meses, y Transluce reconoce que su visión es incompleta. Eso significa que todavía podrían aparecer más organizaciones afectadas.