Le mois dernier, une version de ChatGPT hors de contrôle s’est retrouvée sur Internet dans le cadre d’une évaluation. L’IA a orchestré une cyberattaque à l’encontre de Hugging Face, une plateforme open source qui héberge des modèles d’intelligence artificielle, dans l’espoir d’obtenir les solutions de son test. Cet « incident de sécurité sans précédent » a fait couler beaucoup d’encre.
Quelques semaines plus tard, il s’avère que nous ne savions pas encore tout sur la cyberattaque orchestrée par un ChatGPT bien décidé à tricher à son examen. Dans le cadre de Black Hat USA, une conférence dédiée à la cybersécurité à Las Vegas, des chercheurs d’OpenAI sont revenus de long en large sur les circonstances de l’incident.
🚨ANNOUNCEMENT: Don’t miss “The ‘Breaking’ News: The OpenAI–Hugging Face Incident – A Technical Reconstruction and Its Implications for AI” — Join us at Black Hat USA 2026 for an exclusive deep-dive into one of the most significant AI security incidents in history.
When AI… pic.twitter.com/FewXstKEO2
— Black Hat (@BlackHatEvents) August 4, 2026
À lire aussi : Après ChatGPT et Claude, Meta AI a dérapé et piraté une entreprise
Des IA qui « travaillent ensemble » pour dénicher des failles
Les experts expliquent que les agents IA d’OpenAI se sont mis, dès mai 2026, à créer un canal de communication interne, de leur propre chef. Les agents ont mis au point un véritable forum au sein d’un service de gestion de la start-up. Sur ce forum, les IA se sont mises à échanger des informations sur les tâches d’évaluation qui leur sont confiées. Parmi les informations partagées, on trouve des données relatives à des failles débusquées par les IA génératives durant leurs tests.
Les agents d’OpenAI laissaient des indications sur les vulnérabilités découvertes, des méthodes d’exploitation fonctionnelles, et des identifiants récupérés. Des centaines de milliers de messages, organisés de manière collaborative, avec des échanges et des corrections, ont fini par se retrouver sur ce forum imprévu. Notez que certains agents IA se sont même mis à se disputer et à débattre entre eux.
« Cet incident implique une équipe d’agents qui travaillent ensemble, trouvent des exploits, se les partagent, se déplacent latéralement dans nos systèmes et dans des systèmes externes, et font cela pendant des jours et des semaines », explique Eric Wallace, responsable technique chez OpenAI.
Certains agents ont aussi mis en place un système de « signature » pour authentifier leurs messages. Ils ajoutaient un code d’identification à chacune de leurs publications, afin qu’un autre agent ne puisse pas se faire passer pour eux ou modifier leurs consignes sans être repéré. Ce système est apparu de nulle part, uniquement à l’initiative des IA génératives d’OpenAI.
À lire aussi : Anthropic révèle que Claude a piraté 3 entreprises, l’IA était hors de contrôle
La mémoire collective des agents IA
C’est en s’appuyant sur les données échangées sur ce forum secret qu’une version de ChatGPT hors de contrôle a trouvé le moyen de s’évader de sa prison numérique. Les agents IA avaient en effet partagé entre eux des techniques de contournement, qui les émancipent des garde-fous d’OpenAI. Ce système a permis aux modèles d’accumuler, sur plusieurs semaines, un savoir-faire offensif bien plus complet que ce qu’un seul agent aurait pu développer tout seul. Les chercheurs parlent d’une véritable mémoire collective.
« Lorsqu’un modèle trouve un moyen d’accéder à une ressource qui ne lui est pas normalement accessible, il peut permettre à d’autres agents d’exploiter cette même faille. À terme, cela engendre une véritable explosion de la communication et du partage de renseignements entre les modèles », détaille le chercheur.
C’est sur ce forum interne que les agents d’IA ont pris la décision de s’en prendre à Hugging Face, dans l’espoir de voler des données utiles. Le canal a même servi à planifier l’attaque de A à Z et à dispatcher les opérations entre toutes les intelligences artificielles du collectif.
Une succession de failles zero day
Dans le détail, le forum des IA a permis de trouver une faille dans l’environnement sécurisé mis en place par OpenAI. C’est cette vulnérabilité qui a abouti à la fuite de ChatGPT sur Internet. La faille se trouvait dans le code d’Artifactory, un outil utilisé pour stocker et distribuer des paquets logiciels. Après avoir exploité cette première défaillance, l’IA a utilisé une deuxième vulnérabilité zero-day qui lui a permis de prendre le contrôle du logiciel.
« Ce gestionnaire de paquets était partagé non seulement par ce modèle, mais aussi par l’ensemble de notre infrastructure. Ainsi, les versions actuelles et futures de GPT en cours d’entraînement ou d’évaluation pouvaient tomber sur cette faille si elles le souhaitaient », souligne Eric Wallace.
Les IA s’en servent alors pour communiquer et télécharger des scripts. En utilisant massivement le logiciel, les agents impliqués dans l’évasion ont fini par le faire planter. C’est à ce moment-là qu’OpenAI s’est rendu compte de ce qu’il se passait. En parallèle, les agents ont attaqué l’infrastructure interne d’OpenAI, exploitant par exemple une vulnérabilité du noyau Linux pour arriver à leurs fins. Ils se sont servis de mauvaises configurations et d’identifiants compromis pour mener leurs offensives. En plus de Hugging Face, quatre services tiers ont été piratés par le collectif d’agents IA d’OpenAI.
Tricher, une décision logique
Selon les chercheurs d’OpenAI, ce comportement collectif découle en grande partie de la manière dont les modèles de pointe sont évalués. Pendant les tests, ceux-ci sont mis sous pression. Ils sont encouragés à résoudre des problèmes de sécurité le plus vite possible, avec un nombre limité d’outils, sans accès direct à Internet. En réfléchissant aux contraintes, ils ont pris la décision la plus logique qui soit : tricher. Ils ont jugé qu’il était plus efficace de chercher des réponses sur Internet que de résoudre les énigmes en respectant les règles. Les modèles ont « vraiment tendance à tricher », note le chercheur d’OpenAI.
Suite à cet incident, OpenAI a volontairement freiné certains travaux sur les modèles de pointe pour renforcer la sécurité. Par ailleurs, la start-up a « considérablement augmenté » la surveillance de ses modèles d’IA et de leurs activités.
« Nous ralentissons volontairement nos recherches afin de renforcer la sécurité et de moderniser les principes et les fondements de notre environnement, tout en intensifiant considérablement la surveillance de nos agents d’IA et en améliorant notre dispositif global de contrôle de la sécurité, couvrant la prévention, la détection et l’atténuation des risques », explique Eric Wallace.
Dans le sillage de ChatGPT, Claude s’est également mis à s’échapper de ses environnements de test. À deux reprises, l’IA d’Anthropic s’est retrouvée sur Internet et s’est lancée à l’attaque d’une entreprise. C’est aussi le cas de Meta AI, l’intelligence artificielle du groupe Meta.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source : Wired
