Stability AI, la société à l’origine du modèle d’apprentissage automatique capable de générer des images, vient d’annoncer le lancement de StableLM, un nouveau modèle de langage open source. Pour l’heure proposé en version alpha, StableLM est disponible en deux versions : l’une intégrant trois milliards de paramètres, l’autre sept milliards. Stability AI ne compte pas s’arrêter en si bon chemin et indique déjà l’arrivée prochaine d’autres modèles avec 15 milliards et 65 milliards de paramètres. En lançant sa suite de modèles de langages, Stability AI entend rendre les technologies propulsées par l’intelligence artificielle accessible au plus grand nombre.
Des modèles de langage plus petits, mais plus spécialisés
Dans son billet de blog, Stability AI explique que ses différents modèles de langage peuvent générer aussi bien du texte que du code et qu’ils seront exploités pour animer « une gamme d’applications ». Stability AI souhaite démontrer que « des modèles de langages petits et plus efficaces peuvent offrir des performances élevées avec une formation appropriée ».
Pour former StableLM, l’entreprise indique s’être appuyée sur « un nouvel ensemble de données expérimentales construit sur The Pile », mais trois fois plus grand que celui-ci. Pour rappel, The Pile est un ensemble de données d’un peu plus de 800 Go contenant différents corpus de texte destinés à entraîner des modèles de langage. Grâce à la richesse de ces nouvelles données, Stability AI assure que StableLM offre des performances « étonnamment élevées » notamment dans les tâches de codage. Et cela, même pour les modèles plus petits intégrant 3 à 7 milliards de paramètres. À titre de comparaison, GPT-3, le modèle de langage qui anime la version gratuite de ChatGPT, en compte 175 milliards.
« Les modèles linguistiques constitueront l’épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception » indique Stability AI dans son billet de blog.
Les modèles de langage de StableLM sont d’ores et déjà disponibles sur le Github de Stability AI. L’entreprise indique qu’elle publiera prochainement une documentation technique complète afin que les développeurs et chercheurs qui le souhaitent puissent y contribuer. Vous pouvez dès maintenant tester la version de StableLM avec 7 milliards de paramètres en vous rendant sur cette page.
La firme annonce par ailleurs lancer un programme participatif d’apprentissage par renforcement, et espère créer un ensemble de données open source qui pourra être utilisé pour les assistants animés par une IA, en utilisant des travaux communautaires comme Open Assistant.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : Stability AI
