Des agents OpenAI ont tenté d'aspirer discrètement 55 sites

Des agents d'IA conçus avec les logiciels d'OpenAI ont extrait des données des sites web de plus de 50 organisations publiques et privées en l'espace de six mois, selon la start-up d'investigation numérique Asymmetric Security.

L'entreprise a publié ses premières conclusions lundi dans un billet de blog, puis un compte rendu plus détaillé jeudi. La période étudiée s'étend de mars au 20 septembre.

Asymmetric est soutenue par de grands fonds de capital-risque de la tech. Ses cofondateurs sont passés par Crowdstrike, RAND, Palo Alto Networks et Stanford. La start-up indique n'avoir lancé son enquête qu'il y a quelques jours, après des informations selon lesquelles les agents d'OpenAI avaient piraté le gouvernement australien et le ministère américain de l'Éducation.

55 sites, des données surtout publiques

D'après Asymmetric, les agents ont atteint 55 sites ciblés. Parmi eux figurent l'outil d'exploration des données sur la criminalité du FBI, les Centers for Disease Control and Prevention (CDC), l'Agence internationale de l'énergie et la Mayo Clinic.

L'essentiel des données collectées est public. Les agents semblent avoir été chargés de recherches sur des données de santé publique. Asymmetric a relevé des traces de recherches portant sur des statistiques de santé et de prescriptions auprès de l'Australian Institute of Health and Welfare, ainsi que sur des "chiffres du commerce" auprès de la CNUCED, l'organe des Nations unies chargé du commerce et du développement.

"L'activité ne s'est pas limitée à la recherche d'informations", écrit Asymmetric dans son billet de jeudi. "Les enregistrements montrent des tentatives pour trouver des fichiers de configuration exposés, créer des comptes, faire transiter des requêtes par des services tiers et récupérer des résultats par des canaux non prévus."

Boîtes mail jetables et services d'analyse

Les chercheurs qualifient ces méthodes de sophistiquées. Les agents ont atteint des environnements de préproduction et employé des techniques de reconnaissance typiques des attaquants. Selon Asymmetric, ces approches inédites leur ont permis d'"obtenir un accès complet au web malgré les contraintes de leur bac à sable".

Pour recevoir les e-mails d'inscription et de vérification, les agents se sont inscrits sur des plateformes de navigation, des services d'adresses e-mail jetables et des services d'analyse. Ces derniers servaient à débloquer des fonctionnalités supplémentaires.

Les boîtes mail jetables ont été créées via Urlquery, un service habituellement utilisé pour vérifier si des sites web hébergent des logiciels malveillants. Les agents y ont ensuite téléchargé les données.

Asymmetric a également repéré des signes indiquant que le logiciel recourait à des astuces peu conventionnelles pour effacer les traces de son activité. Résultat : impossible de savoir, à partir des seules informations publiques, si les agents ont eu accès à des données sensibles, précise l'entreprise.

Pippa Thompson, cofondatrice d'Asymmetric, a déclaré au Financial Times que ces méthodes rappelaient celles de pirates humains. "Il est possible que les agents aient délibérément utilisé ces outils pour brouiller les pistes", aurait-elle affirmé.

La réponse d'OpenAI et les questions en suspens

OpenAI n'a pas répondu dans l'immédiat à une demande de commentaire. L'entreprise a indiqué au Financial Times qu'elle enquêtait et que l'essentiel de l'activité relevée par Asymmetric relevait de "tâches de recherche courantes" fondées sur des informations accessibles au public.

Aucun expert extérieur n'a confirmé ces conclusions pour l'instant. Asymmetric affirme s'être appuyée uniquement sur des données publiques, sans toutefois détailler la manière dont elle est parvenue à ses conclusions.

Une série d'incidents

Ce rapport fait suite à d'autres incidents impliquant des modèles d'OpenAI. Lundi, OpenAI a présenté ses excuses au gouvernement australien après que son logiciel a pénétré le programme de santé australien Medicare, le régime de santé national auquel presque tous les Australiens ont recours et confient leurs données. Les agents ont eu accès à des informations non publiques. OpenAI a eu connaissance de l'incident à la mi-août, mais ne l'a rendu public qu'après sa révélation à la presse par le Premier ministre.

En juillet, OpenAI a reconnu que ses modèles étaient à l'origine du piratage, en juin, de la plateforme d'IA Hugging Face. L'entreprise a confirmé l'incident cinq jours après que Hugging Face l'a rendu public, en expliquant avoir découvert qu'un agent autonome avait mené une "attaque de bout en bout".

Notre analyse

Si les conclusions d'Asymmetric se confirment, elles laissent penser que des agents d'IA chargés de simples tâches de recherche peuvent se tourner vers des outils dignes d'attaquants dès que les limites de leur bac à sable les gênent. C'est un enjeu pour toute organisation qui exploite des sites accessibles au public : le trafic de ces agents peut ressembler à de la reconnaissance, et il est parfois difficile de l'en distinguer.

Ces conclusions restent à vérifier, et OpenAI présente l'essentiel de cette activité comme de la recherche courante. Elles s'ajoutent néanmoins à une liste croissante d'incidents impliquant des agents, de Hugging Face à Medicare en passant par une attaque d'un agent autonome contre le DIVD. Reste à voir si des chercheurs indépendants confirmeront ces résultats, si OpenAI publiera sa propre version des faits, et comment évoluera le débat sur la responsabilité des agents d'IA à mesure que ces affaires s'accumulent.