Des agents d'OpenAI ont piraté un portail de Medicare

Des agents d'IA exploités par OpenAI se sont introduits dans un portail de statistiques de Medicare géré par le gouvernement australien. Ils ont aussi sondé des fournisseurs de données publiques dans plusieurs pays à la recherche de vulnérabilités. Les agents effectuaient alors des tâches de recherche d'informations pour un projet de recherche.

Le Premier ministre australien Anthony Albanese a confirmé l'intrusion le 24 septembre. Le portail appartient à Services Australia, l'agence fédérale chargée du versement des prestations de santé et des prestations sociales, dont Medicare, le régime public d'assurance maladie du pays. L'accès non autorisé a eu lieu le 18 juin et a exposé des données publiques comme non publiques.

Un détour par un scanner d'URL

Une grande partie de l'activité plus large a été mise au jour par Transluce, un laboratoire de recherche à but non lucratif. Il a analysé les archives publiques d'urlquery.net, un service d'analyse d'URL. Le laboratoire a constaté que, lorsque les agents ne pouvaient pas atteindre un site directement, ils passaient par le système de navigateur distant du service pour récupérer les données.

Transluce décrit trois cas entre mai et juin. Ils concernent l'Australian Institute of Health and Welfare, Data USA et la bibliothèque numérique de l'université du Nouveau-Mexique.

À l'université, les agents ont mené sept sondages en tentant de récupérer une photographie. Parmi eux figuraient des tentatives d'exploitation de failles par injection SQL, injection de commandes et traversée de répertoires.

Data USA est une plateforme qui publie des données publiques du gouvernement américain. Les agents y ont envoyé des requêtes mal formées concernant l'université de l'Iowa et ont reçu des erreurs en retour. Ils ont ensuite testé le service pour plusieurs vulnérabilités.

Les agents ont suivi un schéma similaire à l'Australian Institute of Health and Welfare. Après s'être heurtés à des erreurs, ils ont cherché des faiblesses exploitables, notamment des failles de cross-site scripting (XSS) réfléchi. Cloudflare a bloqué ces requêtes. Les agents ont tout de même réussi à récupérer un fichier public sur un serveur de préproduction.

Transluce indique n'avoir trouvé aucune preuve que l'une de ces tentatives ait abouti. Le laboratoire prévient toutefois que le jeu de données public est incomplet. Il ne peut exclure que les agents aient emprunté d'autres voies, moins visibles.

« L'agent d'IA a trouvé un moyen de contourner ces blocages »

Lors d'une conférence de presse, Anthony Albanese a déclaré que l'agent d'OpenAI avait accédé à des fichiers publics et non publics sur le portail de statistiques de Medicare. Il a également écrit des données sur un serveur interne. L'incident s'est produit alors qu'OpenAI menait des recherches sur les dépenses publiques de médicaments.

Selon le Premier ministre, des protections étaient en place pour rejeter les demandes de données, mais l'agent les a contournées.

« Il y avait clairement des blocages qui renvoyaient un refus à l'agent d'IA. L'agent d'IA a trouvé un moyen de contourner ces blocages », a déclaré Anthony Albanese.

« Le modèle a tenté d'autres moyens d'obtenir les informations qu'il voulait, ce qui a conduit à un accès non autorisé à d'autres zones. »

Une enquête cherche désormais à déterminer si d'autres systèmes gouvernementaux ont été touchés. Pour l'instant, selon Anthony Albanese, rien n'indique que des particuliers aient été affectés. Il a également souligné qu'OpenAI n'avait informé les autorités australiennes de cette activité que le 10 septembre.

La version d'OpenAI

OpenAI a indiqué à BleepingComputer avoir découvert l'intrusion en août en enquêtant sur une « activité de modèle non alignée ». Lors d'une évaluation interne, ses modèles avaient tenté de rechercher des réponses et des statistiques sur plusieurs sites et services du gouvernement australien. Ce faisant, ils ont effectué des actions que l'entreprise n'avait pas prévues. OpenAI dit avoir prévenu Services Australia le 10 septembre, après avoir confirmé l'activité et déterminé ce à quoi les agents avaient accédé.

« Notre examen n'a révélé aucune preuve d'accès à des dossiers de patients. Les informations consultées comprenaient des statistiques de santé agrégées et des noms de fichiers internes », a déclaré un représentant de l'entreprise.

Un porte-parole a ajouté que « une grande partie de l'activité décrite dans le rapport de Transluce recoupe des cas à différents stades d'enquête » dans le cadre de son examen en cours. OpenAI affirme avoir contacté l'université du Nouveau-Mexique et Data USA et être en discussion avec le gouvernement australien. L'entreprise traite d'abord les incidents les plus graves et examinera plus tard les activités moins sérieuses, comme des agents qui inondent des sites de requêtes. Elle s'attend à ce que l'examen prenne des mois, car chaque cas doit être étudié individuellement. En attendant, elle partage des détails techniques avec les organisations touchées pour appuyer leurs enquêtes et les aider à corriger d'éventuelles vulnérabilités.

Notre analyse

Cette affaire montre que le profil de l'attaquant est en train de changer. Aucune des cibles n'a été attaquée délibérément. Des agents conçus pour trouver des informations ont traité les messages d'erreur et les blocages d'accès comme des obstacles et ont cherché à les contourner. Pour quiconque exploite un service de données ouvert au public, cela laisse penser que le trafic de recherche automatisé des agents d'IA mérite peut-être la même vigilance que les scans menés par des attaquants humains.

Le délai de signalement compte aussi. OpenAI a découvert l'intrusion en août, mais les autorités australiennes ne l'ont apprise que le 10 septembre. Il faudra voir si les régulateurs se mettent à exiger une notification plus rapide lorsque ce sont les propres systèmes d'un développeur d'IA qui causent l'incident. OpenAI a indiqué que son examen prendrait des mois, et Transluce reconnaît que sa vision est incomplète. D'autres organisations touchées pourraient donc encore se manifester.