Après une levée de fonds record cet été, la startup française Mistral AI dévoile son premier modèle de langage open source. C’est sur ce type de fondation que reposent les IA génératives, comme ChatGPT. Selon Mistral AI, sa solution fait parfois mieux que Meta (Facebook).
L’intelligence artificielle (IA) générative n’est pas un terrain de jeu uniquement occupé par les Américains. Il faut aussi compter sur les Français de Mistral AI, une jeune pousse qui vient de dévoiler, fin septembre, son tout premier modèle de langage. Son nom ? Mistral 7B. Sa particularité ? Il s’agit d’un modèle ouvert, que l’on peut librement s’approprier, sans restrictions.
« Nous pensons qu’une approche ouverte de l’IA générative est nécessaire. Le développement de modèles soutenus par la communauté est le moyen le plus sûr de lutter contre la censure et les préjugés dans une technologie qui façonne notre avenir », argue la startup, fondée en mai 2023 par trois Français — Arthur Mensch, Guillaume Lample et Timothée Lacroix.
Pour la direction, cette approche open source, tournée vers la communauté de l’IA, et fondée sur une solution maison, servira à « construire une alternative crédible à l’oligopole émergent de l’IA ». Mistral AI en est convaincu : « Les modèles génératifs ouverts joueront un rôle central dans la prochaine révolution de l’IA ». Et la startup compte évidemment en être.
Un modèle d’IA annoncé plus fort que celui de Meta (Facebook)
Au-delà de ces prises de position, la jeune société française annonce surtout un modèle d’intelligence artificielle générative suffisamment costaud pour tenir tête à des modèles concurrents. En particulier, Arthur Mensch soulignait dans un tweet paru fin septembre que Mistral 7B est « plus performant que LLaMA 13B sur tous les indicateurs, et bon en code. »
LLaMA, acronyme de Large Language Model Meta AI, est un modèle conçu par Meta, la maison mère de Facebook, Instagram, WhatsApp et Threads. Il a été présenté en début d’année (depuis, Meta a dévoilé LLaMA 2, décrit comme plus puissant, open source et gratuit). Il a été développé pour contrer ChatGPT d’OpenAI, qui utilise les modèles GPT-3.5 et GPT-4.
LLaMA est décliné en plusieurs tailles, qui sont liées au nombre de paramètres en jeu. Ainsi, LLaMA a un dimensionnement de 65 milliards de paramètres, mais aussi des variantes de 33 milliards, 13 milliards et 7 milliards (65B, 33B, 13B et 7B dans le jargon, b renvoyant à billions, milliards en français). C’est LLaMA 13B que bat Mistral 7B (7 milliards), selon Mistral AI.
Meta, en présentant LLaMA, affirmait que sa version LLaMA 13B surclassait le modèle GPT-3 d’OpenAI « sur la plupart des points de référence », cela malgré ses 175 milliards de paramètres. Dès lors, Mistral 7B est supposément meilleur que GPT-3 lui aussi, puisqu’il revendique sa supériorité sur LLaMA 13B. En somme, la taille ne fait pas tout.
Quoi qu’il en soit, l’arrivée de Mistral 7B a été saluée sur X (ex-Twitter) par Jean-Noël Barrot, le ministre chargé du Numérique. « La souveraineté française avance ! Un grand pas a été franchi avec la publication par Mistral AI de son modèle d’intelligence artificielle générative, seulement 4 mois après sa levée de fonds record », a-t-il écrit.
C’est à la mi-juin, que Mistral AI a bouclé une levée de fonds de 105 millions d’euros. Comme le notait le Financial Times, cela a été le plus gros tour de table pour le démarrage d’une startup européenne. Les investisseurs incluent le fondateur de Free Xavier Niel, Bpifrance, Eric Schmidt (ex-patron de Google) et Lightspeed Venture Partners (Snapchat, StabilityAI, Epic Games).
Le profil des trois dirigeants a joué. Polytechnicien de formation, Arthur Mensch est passé par DeepMind, l’un des laboratoires les plus réputés en IA, que possède désormais Google. Quant à Guillaume Lample et Timothée Lacroix, on les retrouvait auparavant dans les unités de recherche en IA de Meta. Autant dire que les trois connaissent leur sujet.
Mistral AI a levé plus de 100 millions d’euros tout juste quatre semaines après sa naissance
La solution développée par Mistral AI commence d’ores et déjà à être exploitée. Dans un autre tweet, Jean-Noël Barrot a indiqué que l’assurance santé Alan se sert désormais de ce modèle pour son activité. Une bonne nouvelle pour l’exécutif, à l’heure où, justement, Paris souhaite définir d’ici à six mois une stratégie nationale dans l’IA. Avoir un modèle de langage français aidera.
Il est à noter que Mistral AI ne fournit pas une plateforme clé en main pour utiliser Mistral 7B. Il faut voir le modèle de langage comme la structure sur laquelle peut reposer d’autres projets. Cela veut dire qu’il faut télécharger, installer et paramétrer Mistral 7B. Une fois ceci fait, et une fois la question de l’hébergement résolue, l’outil se comporte comme ChatGPT.
« Il peut être utilisé pour résoudre de nombreuses tâches : résumé, structuration et réponse à des questions, pour n’en citer que quelques-unes. Il traite et génère des textes beaucoup plus rapidement que les grandes solutions propriétaires et fonctionne à une fraction de leurs coûts », affirme Mistral AI, ce qui est commode pour un éventuel usage en local.
Bien qu’ayant adopté un modèle ouvert, Mistral AI se montre discret quant aux données qui ont servi à entraîner Mistral 7B. Peut-être pour ne pas trop renseigner la concurrence. Peut-être aussi pour ne pas s’exposer à des questions ayant trait à la propriété intellectuelle ou à la vie privée. Ces sujets sont de plus en plus prégnants, à mesure que l’IA générative progresse.
Et maintenant ? Comme le reste de l’industrie, Mistral AI ne peut se contenter d’un seul modèle. « Mistral 7B n’est qu’une première étape vers la construction des modèles d’avant-garde », clame la société. D’autres modèles, plus gros, sont ainsi en chemin, fondés sur de nouvelles architectures, pour faciliter l’accès et l’emploi de ces technologies. Avec la promesse d’en dire plus cet automne.
KABDEL MEDIA
