En marge du salon VivaTech de Paris, Yann LeCun, le chercheur français en charge de l’intelligence artificielle chez Meta, a dévoilé un nouveau modèle d’IA, « JEPA » ( « Joint Embedding Predictive Architecture »).
Ce modèle est destiné à « surmonter les principales limites des systèmes d’IA les plus avancés d’aujourd’hui », explique Meta dans un communiqué. Lors de la présentation, Yann LeCun a d’ailleurs tenu à distancer « JEPA » des autres modèles, comme GPT, qui anime l’incontournable ChatGPT d’OpenAI.
« L’IA d’aujourd’hui et l’apprentissage automatique sont vraiment nuls. Les humains ont du bon sens alors que les machines, non », déclare Yann LeCun.
Le chercheur s’est toujours montré très critique à l’égard des modèles linguistiques sur le marché. En janvier, LeCun avait déjà estimé que ChatGPT était bien loin d’être révolutionnaire. Pour lui, « ChatGPT n’est pas particulièrement innovant » sur le plan technique.
À lire aussi : Meta veut lancer son ChatGPT d’ici fin 2023… et s’en servir pour la pub
Un nouveau genre de modèle d’IA
Bien décidé à faire mieux que ses concurrents, Meta propose un modèle d’IA qui apprend un peu à la manière d’une intelligence humaine. Le fonctionnement du système est donc très différent de celui d’un modèle comme GPT ou PaLM2 de Google. Ceux-ci fonctionnent en s’appuyant une immense base de données. En piochant dans ces informations, les modèles d’IA cherchent à deviner la suite de mots la plus logique en fonction de la question de l’utilisateur. En fait, ces IA ne comprennent pas les textes qu’elles génèrent. Elles se contentent de simuler la réflexion. Les générateurs d’images, tels que DALL-E, Adobe Firefly ou Midjourney, fonctionnent de la même manière.
Ce n’est pas le cas du nouveau modèle de Meta. Au lieu d’agréger une montagne de données créées par des humains, « JEPA » compare des représentations abstraites d’images ou de sons. Cette approche oblige l’IA à mettre sur pied « un modèle interne du monde extérieur », ce qui lui permet d’apprendre plus facilement.
De cette manière, le modèle imite le fonctionnement d’un cerveau humain. Tous les jours, votre esprit analyse en effet d’une foule de données de manière inconsciente afin de comprendre le monde qui l’entoure. Comme l’intellect humain, le modèle peut jongler avec des concepts abstraits plutôt qu’avec des suites de mots.
« Notre travail […] est fondé sur le fait que les humains apprennent une énorme quantité de connaissances de base sur le monde simplement en l’observant passivement », avance Meta.
Grâce à cette approche, le modèle comprend vraiment les données qui lui sont confiées. L’IA n’est pas contrainte de deviner les réponses aux questions de ses utilisateurs en s’appuyant sur la suite de mots la plus probable. En théorie, « JEPA » ne devrait donc pas « halluciner », c’est-à-dire générer des informations factuellement fausses. C’est le principal défaut des IA génératives. Leurs assertions sont loin d’être fiables, car elles n’ont pas réellement compris ce dont elles parlent. C’est pourquoi les générateurs ont bien du mal à concevoir certains éléments, comme les mains ou les oreilles humaines.
« Si vous entraînez (un modèle) avec 1 000 ou 2 000 milliards de jetons, il semble capable de comprendre. Mais il commet des erreurs stupides, factuelles ou de logique », souligne Yann LeCun.
De plus, « JEPA » se distingue des autres grands modèles de langage par sa grande efficacité. D’après le communiqué de Meta, l’IA ne nécessite pas d’importantes ressources pour fonctionner, contrairement à des systèmes plus gourmands comme GPT.
La fin des IA génératives ?
Pour Meta, « les méthodes génératives se concentrent trop sur des détails, au lieu de capturer des concepts d’ensemble », comme le fait son nouveau système. Selon Yann LeCun, les IA génératives sont d’ailleurs appelées à disparaître, car « nous aurons quelque chose de mieux pour les remplacer » :
« Les modèles larges de langage sont encore utiles aujourd’hui, mais dans cinq ans on ne les utilisera plus ».
Sur le papier, le modèle représente une nouvelle étape sur la route vers l’intelligence artificielle générale, le grand objectif d’OpenAI et des autres titans de la tech. Ce type d’IA, encore bien loin des technologies actuelles, est capable d’évoluer et de s’adapter aux tâches qui lui sont confiées, même si elle n’est pas programmée pour les réaliser.
« Les modèles génératifs appartiennent au passé, nous allons les abandonner pour des architectures prédictives », déclare le chercheur, récompensé par le prix Alan Turing en 2019.
Fidèle à ses habitudes, Meta a mis l’intégralité du code de « JEPA » à la disposition des chercheurs. Cette stratégie open source vise à stimuler la recherche sur l’IA en encourageant les développeurs à s’approprier cette technologie. Le groupe de Menlo Park a déjà procédé de la sorte avec ses précédentes innovations, comme MusicGen, l’IA qui génère des musiques sur base d’un court texte, ou LLaMA, pour Large Language Model Meta AI.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : Meta
Absolument magnifique !!!
😃😃😃
Je n’ai pas encore lu l’article scientifique correspondant à ce travail. Commentaire à prendre avec des pincettes donc.
Cependant, tel que c’est décrit là (comparaison dans un espace latent) ce n’est rien d plus qu’une contrastive loss/un Siamese network…. Truc qui existe depuis des années (c’est ce qui sert à reconnaître votre visage dans votre téléphone sans requérir 10000 photos de vous). Donc je trouve Mr Lecun un petit prétentieux….