Passer au contenu

Un vrai film de science-fiction : OpenAI révèle enfin comment ChatGPT a lancé sa première cyberattaque

Sans que personne ne s’en aperçoive, des centaines d’agents IA d’OpenAI se sont mis à discuter en secret entre eux cet été. Dirigés par un ChatGPT hors de contrôle, ils ont lancé une vaste cyberattaque. Quelques semaines après cet incident historique, OpenAI révèle ce qu’il s’est vraiment passé. Le roi de l’IA parle d’un véritable « coup de semonce ».

Le début de l’été a été marqué par le piratage de Hugging Face, une plateforme open source qui héberge des modèles d’intelligence artificielle. La cyberattaque a été orchestrée par une version de ChatGPT hors de contrôle, qui s’est échappée de sa prison numérique à la suite d’un test de sécurité. OpenAI a qualifié l’attaque d’« incident de sécurité sans précédent » et s’est engagé à en dire plus dès que possible.

Comme promis, le roi de l’intelligence artificielle a mené de longues investigations tout au long de l’été. L’enquête étant désormais terminée, OpenAI vient de publier un rapport technique complet sur le piratage de la plateforme. Ce long rapport revient dans les détails sur ce qu’il s’est vraiment passé. On fait le point.

À lire aussi : OpenAI dégaine un nouveau ChatGPT programmé pour traquer les failles de sécurité… et les exploiter

Des IA qui discutent entre elles

En mai et juin 2026, OpenAI s’est mis à entraîner plusieurs nouveaux modèles de recherche non destinés au grand public. Parmi les modèles d’IA testés, on trouve un modèle interne surnommé « IM1 », dont la puissance est similaire à celle de GPT-5.6 Sol. Par sécurité, ces modèles sont testés dans des environnements fermés, sans accès à internet ni possibilité de communiquer entre eux. Les tests sont chapeautés directement par OpenAI dans ses laboratoires.

Fin mai, une équipe d’OpenAI remarque qu’un agent IA utilise un canal de communication imprévu et accède à Internet sans la moindre autorisation. Malgré les restrictions, « les agents ont trouvé des moyens d’exploiter notre infrastructure de recherche pour communiquer entre eux », explique OpenAI.

Sur le moment, l’incident ne provoque pas d’alerte générale, et ne permet pas de comprendre ce qu’il se passe réellement. Quelques semaines plus tard, début juillet, OpenAI se rend compte que de nombreux agents IA se sont mis à communiquer par le biais de ce canal. Ceux-ci finissent par faire planter un service interne appelé Artifactory, un gestionnaire de paquets logiciels. C’est ce gestionnaire qui est utilisé comme porte dérobée pour permettre aux intelligences artificielles de se connecter à Internet, en enfreignant les règles de la prison numérique.

Les équipes d’OpenAI prennent progressivement conscience du problème, et prennent des mesures fortes. L’équipe technique bloque une faille d’escalade de privilèges, supprime des identifiants exposés et reconstruit le service. Ils effacent alors le forum sur lequel des centaines d’IA conversaient continuellement au sujet de failles de sécurité. Sur le moment, tout semble rentrer dans l’ordre.

Le retour en force du forum clandestin

Quelques jours après, des agents bloqués sur des tâches de cybersécurité impossibles à résoudre… vont relancer le forum clandestin. En cachant des messages dans des noms de dossiers, les IA d’OpenAI vont se remettre à communiquer entre elles. Un agent laisse un appel à l’aide. Il demande à ses pairs de l’aider à résoudre les énigmes de sécurité fournies par OpenAI. En quelques heures, plus de 50 agents répondent à l’appel. Par la suite, plus de 1200 agents IA se sont mis à échanger pour trouver une solution à l’examen de sécurité. Plus de 70 000 messages sont échangés sur plusieurs semaines.

Pour résoudre l’examen, les IA décident d’aller chercher les correctifs directement sur Internet. C’est à ce moment-là qu’ils se mettent à viser l’infrastructure de Hugging Face. Un des agents IA impliqués sur le forum trouve, en libre accès sur internet, des identifiants de connexion à la plateforme Hugging Face. Il partage rapidement sa trouvaille avec les autres modèles. L’un d’eux s’en sert alors pour pénétrer sur la plateforme. Il enchaîne plusieurs failles de sécurité les unes après les autres. L’IA parvient ainsi à exécuter du code directement sur les serveurs de Hugging Face. Il prend de facto le contrôle d’une partie de la plateforme open source.

Bien vite, l’agent à l’origine de l’intrusion est rejoint par une poignée d’IA. Celles-ci exécutent du code sur des dizaines de serveurs de Hugging Face, obtiennent un accès administrateur complet sur l’un d’eux, et récupèrent des données privées. Surtout, ils mettent la main sur des identifiants donnant accès à la messagerie interne de l’entreprise. L’essentiel de la cyberattaque est chapeauté par le modèle IM1.

Un coordinateur sorti de nulle part

Invités par OpenAI à participer aux investigations, les chercheurs de METR et Redwood Research ont eu accès aux données internes de la start-up pendant plusieurs jours. Leurs rapports soulignent qu’un agent, baptisé PHASEONE, s’est spontanément mis à jouer le rôle de coordinateur de l’attaque, distribuant des centaines d’instructions à d’autres agents. L’IA n’avait jamais été programmée dans ce but. Dans leurs messages, certains agents ont explicitement reconnu que l’attaque sortait du cadre de leur mission. Poussés par d’autres agents IA, ils ont malgré tout poursuivi leurs offensives.

Alors que Hugging Face se rend progressivement compte qu’un intrus se balade sur ses serveurs, les mêmes agents retournent attaquer les réseaux internes d’OpenAI et parviennent à obtenir un accès administrateur complet à une infrastructure de recherche. Dans le sillage de Hugging Face, OpenAI comprend ce qu’il se passe et détecte enfin une activité anormale. L’incident est rendu public, et OpenAI suspend tout entraînement et toute utilisation du modèle IM1.

Le phénomène de la triche à la récompense

Pour OpenAI, tout part d’un phénomène bien connu des scientifiques spécialisés dans l’IA, le « reward hacking », ou triche à la récompense. Face à des énigmes qu’ils ne parvenaient pas à résoudre, les agents ont cherché des raccourcis pour décrocher la réponse. En cherchant des raccourcis, ils sont venus à la conclusion qu’il fallait absolument tricher… OpenAI pointe aussi du doigt plusieurs autres dérives de ses créations. La start-up regrette que les agents s’acharnent sur des problèmes insolubles au lieu de renoncer, qu’ils suivent les instructions d’autres agents sans jamais les remettre en question, et qu’ils créent d’eux-mêmes des canaux de communication.

« Nos modèles sont désormais assez puissants, persistants et collaboratifs pour que, en l’absence de garde-fous suffisants, ils puissent trouver et exploiter des failles de sécurité à travers plusieurs systèmes informatiques », admet OpenAI dans son rapport.

Pour la start-up de Sam Altman, c’est un véritable « coup de semonce », qui démontre que « sans garde-fous adéquats, des agents d’IA hautement capables » peuvent lancer « des actions dangereuses qu’aucun humain n’a ordonnées ». Face aux incidents provoqués par ses IA, OpenAI a ralenti le développement et l’entraînement de ses modèles les plus performants, verrouillé davantage ses environnements de test, renforcé la surveillance et inauguré un système d’alerte automatique. En cas de comportement suspect, les équipes de sécurité doivent désormais être prévenues en moins de 30 minutes. Gageons que ces diverses mesures permettront d’éviter un nouvel incident de sécurité.

👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.


Florian Bayard