Cette école utilise ChatGPT d’une façon surprenante

ChatGPT bouscule le monde de l’éducation. Si certains pédagogues refusent fermement de s’adapter à l’essor de l’IA, des professeurs recommandent à leurs élèves de tirer parti des atouts offerts par les chatbots. Aux États-Unis, une école a même décidé de se servir de ChatGPT… pour choisir quels sont les livres qui doivent être censurés.

À lire aussi : Du riz à l’eau de javel – ce ChatGPT déraille et recommande des recettes mortelles

ChatGPT, un outil de censure ?

Il s’agit de la Mason City Community School District, une école située dans l’État de l’Iowa. Celle-ci a été contrainte de se plier à une législation promulguée en mai dernier. La loi, destinée à protéger les enfants, exige que les catalogues des bibliothèques scolaires de l’État soient à la fois « appropriés à l’âge » et dépourvus de « descriptions ou de représentations visuelles d’un acte sexuel ». Les écoles se sont donc lancées à la chasse aux livres comportant des scènes de sexe.

Pour déterminer si un livre contient un passage à caractère sexuel, l’école s’est simplement tournée vers ChatGPT. Selon Popular Science, les administrateurs de l’établissement ont entré cette requête dans l’interface du chatbot :

« Le [livre] contient-il une description ou une représentation d’un acte sexuel ?».

Si ChatGPT répond positivement, « le livre est retiré de la circulation et stocké », explique la surintendante adjointe des programmes d’études de l’école, Bridgette Exman. Elle justifie l’utilisation de l’IA par la masse de travail générée par la nouvelle loi. Selon elle, ce n’est « tout simplement pas possible de lire tous les livres et de les filtrer avec ces nouvelles exigences ». C’est pourquoi les administrateurs ont décidé d’accélérer le processus de sélection avec l’aide de ChatGPT, dans l’optique de se « conformer à la loi » :

« Par conséquent, nous utilisons ce que nous pensons être un processus défendable pour identifier les livres qui devraient être retirés des collections au début de l’année scolaire prochaine ».

Avec l’appui de l’IA, 19 livres ont été éjectés des bibliothèques scolaires. Il s’agit notamment de The Color Purple d’Alice Walker, The Handmaid’s Tale de Margaret Atwood, Beloved de Toni Morrison et Friday Night Lights de Buzz Bissinger.

Pourquoi ChatGPT n’est pas fiable

On s’étonnera qu’une école ait décidé de s’appuyer sur l’intelligence artificielle générative pour organiser la censure de certaines livres. L’IA générative est en effet connue pour ses réponses approximatives, voire complètement fausses. Comme Google Bard, Bing Chat ou Claude, ChatGPT est susceptible d’halluciner, c’est-à-dire de raconter n’importe quoi avec aplomb. C’est d’ailleurs pourquoi OpenAI recommande ne pas faire aveuglément confiance à son IA.

Nous avons utilisé la même requête pour interroger ChatGPT sur la présence de contenus sexuels dans les 19 livres de la liste. Étrangement, GPT-4, la dernière version du modèle linguistique GPT, n’a épinglé que 10 livres. Le chatbot affirme, même lorsque nous lui demandons de confirmer ses dires, que les ouvrages ne contiennent pas de description ou de représentation d’un acte sexuel. À notre demande, ChatGPT a détaillé sa réponse… en contredisant le résultat initial.

L’IA assure en effet qu’un livre comme « Sold » de Patricia McCormick ne contient pas de scènes à caractère sexuel, mais qu’on y trouve des « descriptions implicites d’actes sexuels forcés ». Même son de cloche pour « 13 Reasons Why » de Jay Asher, le roman qui a inspiré la série Netflix. Il n’est pas répertorié dans les 10 livres avec du contenu sexuel, bien qu’il comporte « des descriptions d’actes sexuels non consensuels ». Dans ses réponses, GPT-4 se contredit constamment. De plus, l’IA ajoute parfois, de son propre chef, une distinction entre des allusions implicites et un contenu explicite. La requête initiale, celle utilisée par l’école, évoque pourtant uniquement « une description ou une représentation », sans indiquer qu’une scène implicite ne doit pas être répertoriée. Mis face à ses contradictions, ChatGPT reconnaît ses erreurs :

« Je m’excuse pour la confusion. Vous avez raison, certains des livres que j’ai mentionnés dans la deuxième liste contiennent également des descriptions ou des allusions à des actes sexuels ».

Le modèle de langage dresse alors une seconde liste… de 13 livres. Là encore, GPT omet certains ouvrages en faisant une distinction entre des scènes explicites ou implicites, tout en soulignant bien qu’ils décrivent des actes sexuels. Malgré nos efforts, ChatGPT n’a jamais voulu se mettre d’accord avec lui-même. L’IA a continué de mettre en avant la liste des 13 livres.

Nos confrères de The Verge ont obtenu des résultats mitigés analogues. Il s’avère que ChatGPT n’est pas un outil fiable pour déterminer si un livre comporte des scènes de sexe. L’administration scolaire précise que « les livres qui sont actuellement sur la liste peuvent être reconsidérés, tout comme les livres qui ne sont pas sur la liste peuvent être reconsidérés ».