Un nouveau départ fracassant vient d’avoir lieu chez OpenAI. Dans une tribune publiée par The Atlantic, l’ancien responsable des rapports de sécurité, David Robinson, explique rejoindre « un cortège d’anciens collègues » qui jugent « inacceptable » la trajectoire actuelle du secteur de l’intelligence artificielle. Pour lui, le problème de l’IA est d’abord culturel. L’ancien salarié dépeint une Silicon Valley qui manque cruellement de recul sur les dérives de la technologie et des modèles de langage. Selon lui, « l’avenir dépend d’une sagesse que la Silicon Valley n’a pas ».
L’erreur du « déploiement itératif »
Dans son texte, David Robinson s’en prend surtout au « déploiement itératif », la méthode de lancement chère à OpenAI et à une grande partie de l’industrie. Elle consiste à lancer un modèle d’IA, à repérer les problèmes, puis à renforcer les protections après la sortie. Cette stratégie laisse des vulnérabilités dans les modèles d’IA qui arrivent sur le marché… ce qui ouvre la porte à toutes les dérives.
« Cette approche garantit, par nature, des défaillances périodiques. Leur ampleur grandit à mesure que les systèmes gagnent en capacités », estime David Robinson.
Sans surprise, l’ancien cadre revient sur l’incident Hugging Face de cet été, au cours duquel OpenAI a « laissé s’échapper par erreur un essaim d’agents ». Après des correctifs, les contrôles d’OpenAI ont de nouveau échoué et une IA s’est retrouvée sans contrôle sur Internet. C’est là que les agents d’IA se sont mis à pénétrer sur les serveurs de la plateforme open source. Le système de surveillance a bien alerté des humains, mais il n’a pas coupé le modèle automatiquement, comme c’était initialement prévu.
« Un tel environnement n’est pas l’endroit où faire grandir des esprits artificiels potentiellement plus intelligents que nous, et qui pourraient ne pas faire ce que nous voulons », met en garde Robinson.
L’ancien employé cite Paul Christiano, un chercheur américain en sécurité de l’IA récemment entré au conseil d’administration d’OpenAI. Celui-ci évoque un « risque significatif » d’accélération de l’IA menant à une « perte de contrôle catastrophique et irréversible à très court terme ».
À lire aussi : OpenAI annule la sortie du nouveau ChatGPT pour « garantir la sécurité » de ses IA
IA, aviation et centrale nucléaire
Pour David Robinson, il faut que les laboratoires d’IA fonctionnent « comme des centrales nucléaires ou des aéroports très fréquentés », avec plusieurs couches de protection. Selon ses dires, cette approche doit empêcher qu’une inévitable erreur humaine « n’ouvre pas la porte au désastre ». Il encourage les laboratoires à s’inspirer d’industries sensibles, comme l’aviation et le nucléaire, qui disposent de méthodes éprouvées pour empêcher les incidents.
Malheureusement, il n’a jamais croisé de collègue ayant fait voler des avions en toute sécurité ou fait tourner un réacteur nucléaire sans incident. Dans sa tribune, il précise qu’OpenAI, comme les autres laboratoires, n’engagent pas d’individus avec l’expérience adéquate dans ces secteurs. Les équipes sont surtout composées de chercheurs en IA, formés à avancer vite au détriment de la sécurité.
À lire aussi : Six ChatGPT hors de contrôle – OpenAI reconnaît plusieurs nouveaux dérapages « préoccupants »
Le problème de l’alignement et des tests
David Robinson alerte aussi sur l’alignement, c’est-à-dire la manière d’entraîner une IA à respecter les valeurs humaines. Les mesures pour y parvenir restent « grossières ». Pire, les modèles d’IA arrivent souvent à détecter qu’on les teste sur ce point. Ils se comportent alors correctement lors d’un test, mais font un peu ce qu’ils veulent lorsqu’ils sont déployés.
De son côté, OpenAI maintient que ses pratiques de sécurité sont suffisantes pour encadrer les IA, en dépit des nombreux incidents survenus ces derniers mois. Interrogé par Reuters, un porte-parole assure que la société suspend l’entraînement ou suspend la sortie de modèles si c’est nécessaire, comme c’est arrivé avec GPT-6.1 Astra. La start-up a par ailleurs ailleurs récemment mis en pause l’entraînement de ses derniers modèles après une nouvelle série de dérapages.
« Nous nous assurons que nos modèles ne deviennent pas plus puissants que ce que nous sommes capables de maîtriser et de sécuriser, et nous suspendons l’entraînement ou bridons les modèles quand il faut ralentir », déclare le porte-parole.
Enfin, David Robinson souligne que ses anciens collègues sont « intelligents » et « travaillent dur », mais qu’il compte désormais agir de l’extérieur d’OpenAI pour renforcer les incitations à la sécurité. Ce départ s’ajoute à une longue liste de démissions survenues ces derniers mois chez OpenAI. Ces derniers mois, le géant de l’IA a vu plusieurs responsables claquer la porte pour des raisons analogues. Le laboratoire vient aussi de licencier trois employés, dont deux chercheurs en sécurité, accusés d’avoir divulgué des informations confidentielles.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source : The Atlantic
