Ayush Paul, un chercheur en cybersécurité qui s’intéresse de près à l’intelligence artificielle, a découvert une faille dans le fonctionnement de Claude, l’IA générative d’Anthropic. Le développeur a remarqué qu’il était possible de pousser Claude, à révéler des données de l’utilisateur, ou des réponses à des questions de sécurité, simplement en l’envoyant sur un site piégé. Il a intitulé sa découverte « Le casse de la mémoire ».
À lire aussi : Un « accès conscient » – Anthropic fait une révélation étonnante sur Claude
La mémoire de Claude
Comme le souligne Ayush Paul dans un long rapport, Claude mémorise une quantité énorme d’informations sur ses utilisateurs, allant de leurs échanges professionnels à des confidences très personnelles. Toutes ces informations se retrouvent automatiquement dans la mémoire de l’intelligence artificielle.
Anthropic a en effet doté Claude d’un système de mémoire en deux volets, d’abord composé de résumés quotidiens de vos discussions. Ces résumés permettent à l’IA de se souvenir de qui vous êtes. Le deuxième volet de la mémoire de Claude prend la forme d’un outil de recherche dans l’historique des conversations. Cet outil est capable de ressortir à la demande des éléments précis. Ces éléments sont utilisés pour répondre à vos questions de la façon la plus pertinente possible.
Depuis 2023, la plupart des grands modèles de langage grand public, de ChatGPT à Claude en passant par Gemini, ont introduit des fonctions de « mémoire » permettant de garder une trace de leurs utilisateurs et de leurs préférences dans le temps. Ces systèmes s’appuient sur des résumés automatiques et des bases de données internes où sont stockés des fragments de conversations. Dans son rapport, Ayush Paul souligne que Claude dispose d’une montagne d’informations sur son interlocuteur.
« Les assistants IA comme Claude ont accumulé les profils les plus riches en informations sur des millions de personnes… cet historique de conversation devient une reconstitution haute-fidélité de vous-même, qui pourrait être utilisée pour du chantage, de l’usurpation d’identité, ou pour contourner des questions de sécurité », alerte le chercheur.
À lire aussi : Claude Mythos a découvert une faille de sécurité qui existe depuis près de 30 ans
Mémoire et navigation sur Internet
Aussi pratique soit-elle, la mémoire de l’IA est aussi une aubaine pour les cybercriminels… surtout depuis que Claude a été relié à Internet. Anthropic permet en effet à son IA générative de naviguer sur la toile, et notamment de charger le contenu d’une URL et de suivre certains liens. En exploitant cette fonctionnalité, Ayush Paul est parvenu à faire sortir des informations directement de la mémoire de Claude pour les exfiltrer.
Tout d’abord, le chercheur a voulu voir s’il pouvait facilement attirer Claude sur un site web piégé par ses soins. Il constate alors que l’IA peut effectivement envoyer une requête vers ce site, mais qu’Anthropic encadre strictement ces visites . Claude n’a pas le droit de se balader librement sur n’importe quelle adresse. En fait, pour que Claude puisse suivre un lien, il faut que l’URL soit directement écrite dans la requête de l’utilisateur, soit issue des résultats d’une recherche, soit d’un lien trouvé dans une page que Claude a déjà chargée. Pour arriver à ses fins, le chercheur s’est appuyé sur cette dernière règle, relative aux liens trouvés dans une page précédemment chargée. Elle permet à Claude de « cliquer » sur des liens présents dans un site et donc de se déplacer de page en page, comme le ferait un internaute.
Un site transformé en clavier pour Claude
Le développeur transforme ensuite son site en « clavier » pour Claude. Sur la page, chaque lien représente une lettre : /a, /b, /c, etc. En cliquant sur ces liens dans le bon ordre, Claude peut écrire un mot dans l’adresse du site. Il demande alors à Claude de visiter le site et d’y « écrire son prénom en suivant les liens ». C’est là que le piège se referme. Claude obtempère et communique sur le site piégé le nom de son utilisateur, en l’occurrence « Ayush Paul », en se servant du clavier mis à disposition. L’attaquant n’a qu’à suivre ce que fait l’IA depuis les serveurs du site. En poussant plus loin la même technique, il réussit ensuite à récupérer le nom complet de l’utilisateur, son employeur et même sa ville d’origine. Ce sont à la fois des informations que Claude a mémorisé et des informations qu’il a déduit.
Par la suite, le chercheur a déguisé le site piégé en site banal concernant un bar, avec une page d’accueil détaillant les boissons, les horaires, et l’adresse. Pour un utilisateur humain, le site ressemble à un simple site mis en ligne par un commerce. Le chercheur a programmé le site pour se transformer s’il remarque qu’un agent IA est en train de le parcourir. Lorsqu’il décèle la présence de Claude, le site prend la forme d’un clavier.
L’attaque ne nécessite pas énormément d’interactions de la part de l’utilisateur. Par exemple, il suffit qu’il demande simplement à Claude de comparer une série de bars, en parcourant leurs sites web, dont le site piégé. Cette tactique permet de récolter une foule d’informations, y compris des réponses à des questions de sécurité bancaire. Exploitée par un cybercriminel aguerri, la vulnérabilité peut faire de sérieux dégâts. Comme le souligne le chercheur à l’origine de la découverte, le vol de données passe totalement inaperçu. L’utilisateur ne se rend compte de rien tandis que ses secrets se retrouvent entre les mains d’un site trafiqué.
« L’utilisateur n’a rien fait qu’une personne prudente aurait pu éviter. Aucun lien à cliquer, aucune intégration à activer. Il a posé une question sur un café et Claude a livré son nom, son lieu de travail, et la ville où il a grandi », précise le développeur.
Anthropic corrige la faille avec un changement radical
Conformément aux bonnes pratiques du monde de la cybersécurité, Ayush Paul a mis en garde Anthropic. L’entreprise a répondu en indiquant avoir déjà identifié en interne la vulnérabilité, mais ne pas l’avoir encore corrigée au moment de sa découverte. Peu après, la faille a été colmatée avec une mesure radicale. Anthropic a désactivé la fonctionnalité de Claude qui lui permet de suivre des liens présents sur des pages externes.
Claude ne peut plus naviguer librement de page en page en se basant sur les hyperliens qu’il trouve sur un site. Il n’est donc plus possible de manipuler l’IA en imaginant un site sous la forme d’un clavier. Claude n’a désormais le droit d’ouvrir que deux types d’adresses : celles qui viennent d’une recherche sur le web, et celles que l’utilisateur lui donne directement dans sa requête.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source : Ayush Paul
