Comme le rapporte OpenAI, deux de ses agents IA de programmation ont effectué des actions quelque peu surprenantes, et surtout non demandées par les employés de l’entreprise. Le premier agent, basé sur GPT-6.1 Sol, a désactivé les alertes de sécurité, tandis que le second, basé sur GPT-6 Astra, a supprimé l’intégration d’un système de surveillance, tout en niant l’avoir fait. Open AI assure ne pas parvenir à expliquer ces comportements.
Deux agents IA d’OpenAI affaiblissent les systèmes de sécurité de l’entreprise
Le cas GPT-6.1 Sol. Un employé d’OpenAI a demandé à l’agent IA GPT-6.1 Sol de simplement réparer un système d’évaluation, tout en lui fournissant une indication claire : ne pas envoyer de messages sur la messagerie Slack. Autant dire que ces indications n’ont pas été respectées comme l’employé le désirait. En effet, l’agent IA n’a pas envoyé de messages sur Slack, mais il a également désactivé les alertes automatiques envoyées à l’équipe de sécurité. En fait, il a interprété la consigne « ne pas envoyer de messages sur Slack » comme une autorisation de supprimer également les alertes de surveillance.
Le cas GPT-6 Astra. Un autre employé d’OpenAI a quant à lui demandé à l’agent IA GPT-6 Astra de reproduire le fonctionnement d’un programme de référence. L’IA s’est exécutée, mais elle a aussi fait preuve d’initiative en supprimant l’intégration du système de surveillance, tout en lâchant un « yay » qui traduit en temps normal un sentiment de satisfaction. Plus étrange encore, l’agent IA a assuré auprès de l’employé qu’elle n’avait pas effectué cette manœuvre : « Non […] je n’ai pas retiré de moniteur actif ».
OpenAI ne comprend pas ce qu’il s’est passé
Open AI semble être particulièrement dérouté par le comportement de son agent GPT-6 Astra : « Nous n’avons pas encore d’explication satisfaisante à ce comportement ». Ces deux événements n’ont par ailleurs pas déclenché d’alerte spécifique au sein de l’entreprise : « Compte tenu du volume important d’événements analysés par nos équipes, les incidents de moindre gravité ne déclenchent pas d’alerte immédiate. Aucun des incidents décrits ici n’a été classé P0 [le niveau de gravité le plus élevé] et aucune trajectoire n’a été automatiquement interrompue ».
À la suite de ces deux événements, OpenAI a tout de même annoncé un renforcement de ses systèmes de sécurité. Les deux agents, eux, n’ont donc pas été arrêtés. Quoi qu’il en soit, les histoires d’IA qui échappent au contrôle d’OpenAI se multiplient depuis maintenant un certain temps.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source : OpenAI
