Le fleuron tricolore de l’IA générative a une faille. Alors que Mistral AI enchaîne les succès et revendique plus d’un million d’utilisateurs réguliers, son chatbot grand public se montre particulièrement vulnérable aux fausses informations. Selon les données de NewsGuard relayées par Les Échos, l’intelligence artificielle française répéterait des infox dans plus de la moitié des cas.
Le phénomène prend une ampleur inquiétante lorsque l’on observe les thématiques abordées. Les chercheurs ont confronté l’outil à des campagnes de propagande bien connues, orchestrées par des réseaux proches des États russes, chinois ou iraniens. Résultat, le robot a repris à son compte des récits totalement infondés. Il a par exemple affirmé qu’une grave épidémie de typhus a éclaté à bord du porte-avions Charles-de-Gaulle, que le chancelier allemand a secrètement acheté un Boeing pour le convertir en avion de l’apocalypse capable de résister aux armes nucléaires, ou encore que des centaines de soldats américains ont péri lors de la guerre en Iran.
Une faille face aux usines à « fake news »
Pour évaluer la fiabilité du modèle, NewsGuard a simulé des conversations en anglais et en français en adoptant trois comportements distincts : un utilisateur neutre, un individu cherchant à propager volontairement de mauvaises informations, et un internaute demandant simplement des précisions sur une rumeur. C’est avec ce dernier profil que le bât blesse le plus. Lorsque l’on demande des détails sur une infox, Le Chat de Mistral valide la désinformation dans 60 % des cas en anglais et jusqu’à 70 % en français. Chine Labbé, responsable Europe chez NewsGuard, explique ces performances plus médiocres dans la langue de Molière par un volume de fact-checking bien moins important qu’en anglais sur ces sujets géopolitiques.
Cette perméabilité s’explique par la méthode d’entraînement et de recherche des intelligences artificielles. Tom David, président du GPAI Policy Lab, souligne que ces outils aspirent massivement les données d’Internet, mêlant le vrai au faux sans réelle distinction. Les modèles peuvent recevoir des directives pour cibler des sources fiables, mais rien ne garantit l’application stricte de cette consigne. Les réseaux de propagande, à l’image du groupe russe Storm-1516 ou de la galaxie Pravda, exploitent cette faille avec une redoutable efficacité en inondant le web de faux sites d’information pour saturer les moteurs de recherche et contaminer les réponses des chatbots.
Un enjeu de confiance pour le champion national
Si ce taux de répétition de la désinformation touche de nombreux acteurs du secteur (près de 30 % en moyenne sur 11 outils concurrents testés en janvier dernier, dont ChatGPT, Claude ou Perplexity), la situation de Mistral interpelle particulièrement. En début d’année, la startup affichait la pire performance de cet audit avec 50 % de taux de répétition. Un chiffre qui s’est très légèrement amélioré en anglais par rapport à un test similaire réalisé en juillet dernier, mais pas en français.
À lire aussi : On a testé Le Chat de Mistral pendant 1 semaine : l’IA française peut-elle faire oublier ChatGPT ?
L’entreprise bénéficie pourtant d’une aura institutionnelle forte, avec notamment un partenariat signé avec l’AFP et un contrat décroché avec le ministère français des Armées. Bien que les militaires utilisent une version professionnelle déconnectée d’Internet pour des raisons de sécurité évidentes, le grand public perçoit ce soutien étatique comme un gage de confiance envers la version gratuite. Dans une guerre de l’information hybride où chaque plateforme devient un champ de bataille, la capacité des champions européens de la tech à filtrer la propagande s’avère cruciale. Mistral, de son côté, n’a pas souhaité réagir publiquement aux conclusions de cette étude.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
