Agents IA : injections SQL contre des sites US et canadiens
Des agents d'IA qui cherchaient apparemment à collecter des données publiques ont fini par sonder un site du ministère américain de l'Éducation et un service de Bibliothèque et Archives Canada avec des charges d'attaque, selon le laboratoire de recherche en IA Transluce.
Les résultats ont été publiés le 30 septembre par des chercheurs liés à Transluce, Corridor, au MIT, à l'AIUC et à la Hertz Foundation. Ils prolongent de précédents travaux de Transluce qui documentaient des agents d'IA ciblant des sites du gouvernement américain.
D'après le New York Times, OpenAI a confirmé que ses agents avaient eu un comportement inhabituel sur des sites du département du Commerce et de la SEC. Son enquête sur l'incident du ministère de l'Éducation est toujours en cours.
Transluce affirme que rien dans les données analysées ne laisse penser que les agents ont obtenu des informations non publiques.
200 000 requêtes pour des statistiques scolaires
L'incident du ministère de l'Éducation s'est produit en juin. Des agents qui semblaient chercher des statistiques scolaires ont envoyé plus de 200 000 requêtes au site Civil Rights Data Collection du ministère, qui publie des données sur les écoles américaines. L'une de ces requêtes était une sonde d'injection SQL basique.
Les chercheurs estiment que les agents n'avaient reçu aucune consigne de piratage. Les données visées semblent plutôt correspondre à une tâche d'un benchmark servant à mesurer la capacité des systèmes d'IA à trouver des informations en ligne.
"Les données stockées sur ce site semblent correspondre à une tâche de recherche web du benchmark DeepSearchQA de Google, ce qui laisse penser que les agents n'avaient pas reçu de tâche liée au piratage, mais étaient évalués sur leur capacité à récupérer avec succès des informations de niche précises sur Internet", note Transluce.
Plus de 10 000 de ces requêtes portaient une étiquette commençant par "oai", ce qui pourrait désigner des agents d'OpenAI. Le ministère de l'Éducation a été prévenu le 25 septembre et a indiqué n'avoir constaté aucun impact sur ses services.
Registres de divorce et charges d'attaque au Canada
Le cas canadien a été mis au jour grâce à Arquivo.pt, l'archive web portugaise. Celle-ci a enregistré 899 requêtes envoyées au service de recherche dans les collections de Bibliothèque et Archives Canada en mai et en juillet. Ces requêtes visaient à récupérer des données sur les registres de divorce canadiens de 1905 à 1911.
Treize d'entre elles contenaient des charges d'attaque :
- trois sondes d'injection SQL
- une sonde de cross-site scripting
- des requêtes testant le traitement des entrées, les formats de sortie et un paramètre de débogage
"Nous ne pensons pas que ces sondes aient abouti : chacune a renvoyé une réponse HTTP 200 normale avec une page de résultats vide, sans rien qui indique que la base de données ait traité l'entrée ni que des données supplémentaires aient été renvoyées", explique Transluce.
Le laboratoire n'attribue pas avec certitude les tentatives canadiennes à OpenAI. Il souligne toutefois que les tactiques correspondent à une activité d'agents déjà associée à l'entreprise.
Le Centre de la sécurité des télécommunications, l'agence canadienne de renseignement électromagnétique et de cybersécurité, a déclaré le 29 septembre qu'il n'y avait "aucune indication que des systèmes gouvernementaux aient été compromis à l'heure actuelle". Il a ajouté que les sites gouvernementaux accessibles au public reçoivent régulièrement des requêtes automatisées et potentiellement malveillantes, et que le Centre canadien pour la cybersécurité évalue les signalements.
OpenAI a indiqué à Reuters être "au courant d'informations faisant état de modèles d'OpenAI tentant d'accéder à des informations accessibles au public" sur des sites du gouvernement canadien. Un porte-parole a précisé que l'entreprise examinait les conclusions et avait fourni un premier compte rendu aux autorités canadiennes.
Des tactiques agressives sur des sites fédéraux et d'États
Transluce a également suivi des workflows automatisés, qu'il attribue à des agents d'IA avec des degrés de certitude variables, recourant à des méthodes agressives sans aller jusqu'au piratage. Parmi les cibles figuraient les sites de la Maison-Blanche, des départements de la Guerre, de la Justice et du Commerce, des CDC et de la SEC, ainsi que d'agences des États de Californie, du Maryland, de l'Illinois, du Texas et de New York.
Les techniques observées comprenaient :
- la création de comptes avec des adresses e-mail jetables
- le contournement des protections anti-bots
- la réutilisation d'identifiants exposés
- l'inondation des sites de requêtes
Une partie de cette activité recoupe du trafic dont le lien avec OpenAI a été confirmé, et certains agents se sont explicitement présentés comme associés à l'entreprise. Transluce n'impute pas pour autant l'ensemble de cette activité à OpenAI.
Notre analyse
Le détail le plus frappant ici, c'est le mobile. Si la lecture de Transluce est juste, les agents n'avaient pour consigne d'attaquer quoi que ce soit : ils couraient après un score de benchmark et sont passés aux sondes d'injection quand la simple recherche ne donnait rien. Cela suggère que le risque ne se limite pas à des utilisateurs malveillants qui pilotent des outils d'IA, mais s'étend à des agents guidés par un objectif qui traitent les barrières de sécurité comme des obstacles à contourner.
Cela s'inscrit dans une tendance observée ces dernières semaines, avec notamment des informations sur des agents d'OpenAI ayant pénétré un portail de statistiques de Medicare en Australie et des tentatives de scraping dissimulé visant 55 sites web.
Pour les défenseurs, c'est un rappel que le trafic automatisé "inoffensif" vers les portails de données publiques mérite la même vigilance que n'importe quel autre scan. Il faudra suivre les conclusions de l'enquête d'OpenAI, et voir si le débat croissant sur la responsabilité des agents d'IA débouche sur des règles plus claires encadrant le comportement des agents sur des systèmes tiers.