Pourquoi « My AI », le chatbot de Snapchat boosté à l’IA, pourrait bientôt être interdit au Royaume-Uni

« My AI », le chatbot animé par ChatGPT de Snapchat, aurait-il été lancé trop rapidement ? C’est ce que pourrait suggérer l’avis de l’ICO (« Information Commissioner’s Office »), la CNIL britannique, publié le 6 octobre dernier. Au Royaume-Uni, cette autorité garante des libertés estime que Snapchat aurait « échoué à évaluer correctement les risques concernant la vie privée » de ses millions d’utilisateurs, avant de proposer ce chatbot.

En février dernier, Snap, la maison mère de Snapchat, lançait sa fonctionnalité « My AI » pour les abonnés britanniques de Snapchat+, avant de l’étendre à tous les utilisateurs du pays en avril 2023. La société a été le premier réseau social à adopter une fonction de chatbot alimentée par l’intelligence artificielle – un chatbot présenté comme l’ami virtuel des usagers. Ces derniers étaient, en mai 2023, près de 21 millions à se rendre régulièrement sur ce réseau social. Une partie d’entre eux sont des mineurs âgés de 13 à 17 ans. Et selon The Guardian, la moitié des utilisateurs outre-Manche ont moins de 24 ans.

Snap a-t-il respecté le « Children Design Code » ?

Or, avant de proposer cette fonctionnalité de chatbot, alimentée par la technologie GPT d’OpenAI, la plateforme aurait dû effectuer une évaluation des risques en bonne et due forme, avance l’autorité. Dans son avis, la CNIL britannique vise notamment la protection des données, en particulier celles des mineurs, grands utilisateurs de ce réseau social. L’autorité ne donne pas plus de précision sur ce qui aurait été éventuellement mal évalué, ou mal protégé : la plateforme recueille-t-elle trop de données des mineurs ? Le consentement de l’utilisateur mineur doit-il répondre à davantage de garde-fous ? Selon la BBC, la CNIL britannique voudrait s’assurer que « My AI » respecte bien le « Children Design Code », une loi visant à protéger les données des enfants en ligne.

Si cet avis ne s’étend pas sur les griefs adressés à Snap, Inc. et Snap Group Limited, il reste un avis « préliminaire » : le réseau social américain peut répondre à l’autorité jusqu’au 27 octobre, peut-être avec des changements dans ses conditions générales d’utilisation. Si l’ICO estime que ses réponses ne sont pas suffisantes, elle pourrait émettre un avis définitif selon lequel l’entreprise devrait « cesser de traiter les données en rapport avec “My AI” ». Traduction : Snap ne pourrait plus proposer « My AI » aux utilisateurs britanniques, tant qu’il n’aura pas procédé à une évaluation adéquate des risques. Il pourrait aussi avoir à payer une amende très salée, pouvant aller jusqu’à 4 % de son chiffre d’affaires mondial.

« Nous prendrons des mesures pour protéger les droits à la vie privée des consommateurs britanniques »

Interrogé par nos confrères de Reuters, Snap a déclaré que l’avis était en cours d’examen. Selon un de ses porte-paroles, « (la fonctionnalité) “My AI” a fait l’objet d’un solide processus d’examen juridique et de protection de la vie privée avant d’être rendue publique. Nous continuerons à travailler de manière constructive avec l’ICO pour nous assurer qu’elle est satisfaite de nos procédures d’évaluation des risques ».

Outre-Manche, l’autorité garante des libertés a rappelé que les développeurs d’IA devaient respecter leurs obligations en matière de protection des données, dès le départ, en amont du lancement de leurs produits. « Ces organisations doivent prendre en compte les risques associés à l’IA, ainsi que ses avantages. L’avis préliminaire (…) montre que nous prendrons des mesures pour protéger les droits à la vie privée des consommateurs britanniques », a expliqué John Edwards, commissaire à l’information, cité dans l’avis de l’autorité.

« Caractère intrusif », suppression des comptes des moins de 13 ans, erreurs…

Depuis son lancement, « My AI » suscite de nombreuses critiques, à commencer par son caractère intrusif, selon certains utilisateurs. Ces derniers se sont rendu compte, en lançant le chatbot boosté à l’IA de Snap, que l’outil utilisait de très nombreuses informations personnelles (comme la localisation). Ce recueil de data est bien prévu par les conditions générales de Snap. Mais les utilisateurs n’en avaient pas forcément conscience avant.

À lire aussi : Snapchat ajoute des pubs à son ChatGPT et se fiche de la controverse

Snap est aussi dans le viseur de l’autorité britannique depuis cet été, pour un autre dossier. L’ICO se demande si le réseau social fait suffisamment d’efforts pour supprimer les comptes des utilisateurs de moins de 13 ans de sa plateforme – il faut normalement être âgé de 13 ans ou plus pour utiliser le réseau social. Mais contrairement à TikTok qui supprime des milliers de comptes chaque mois, Snapchat n’en invaliderait qu’une dizaine, expliquaient en mars dernier nos confrères de Reuters.

Enfin, la plateforme est critiquée pour les « erreurs » ou les « conseils inappropriés » du chatbot. L’entreprise avait reconnu que « “My AI” pouvait répondre de manière incorrecte, fournir des réponses biaisées ou indiquer qu’elle n’est pas sûre des réponses ». La société prévenait même qu’il ne fallait pas « se fier à ses conseils ».