Mistral AI vient de dévoiler ce qui devient son modèle le plus ambitieux à ce jour.
Baptisé Mistral Large 4, et surnommé en interne « Le Chonk », le nouveau modèle français atteint 1 000 milliards de paramètres, avec 49 milliards activés pour chaque traitement.
Il est disponible dès maintenant en préversion publique via l’API de Mistral.
Un modèle d’un billion de paramètres
Mistral utilise une architecture de type Mixture of Experts.
Le modèle complet dispose d’environ 1 000 milliards de paramètres, mais tous ne sont pas utilisés simultanément.
Environ 49 milliards sont activés lors d’une requête.
Cette architecture permet de proposer un modèle extrêmement vaste sans devoir exploiter l’intégralité de ses paramètres à chaque réponse.
Mistral présente les caractéristiques dans son annonce officielle consacrée à Mistral Large 4 et son architecture à 1 000 milliards de paramètres.
Mistral vise directement les entreprises
Le modèle ne cherche pas uniquement à améliorer les conversations classiques.
Mistral insiste particulièrement sur :
- le développement ;
- les agents autonomes ;
- la cybersécurité ;
- la finance ;
- l’industrie ;
- l’analyse multimodale.
Large 4 peut travailler à la fois sur du texte et des informations visuelles.
Il est également conçu pour enchaîner plusieurs actions dans le cadre de workflows plus complexes.
Plus de 160 langues sont prises en charge
Mistral met également en avant son orientation internationale.
Large 4 est annoncé comme natif dans plus de 160 langues.
Cela inclut notamment toutes les langues officielles de l’Union européenne.
C’est un élément important pour Mistral, qui cherche depuis longtemps à proposer une alternative européenne aux modèles principalement développés aux États-Unis ou en Chine.
Les poids seront publiés fin octobre
Le modèle n’est pas encore disponible au téléchargement complet.
La préversion publique fonctionne actuellement via Mistral Studio et son API.
Mistral prévoit cependant de publier les poids du modèle le 26 octobre.
Cette étape sera particulièrement surveillée car elle permettra aux développeurs et chercheurs d’examiner beaucoup plus précisément son fonctionnement et ses performances.
Mistral revendique d’excellents résultats en cybersécurité
La société française met fortement en avant les performances du modèle sur les usages professionnels.
Elle affirme que Large 4 fait partie des meilleurs modèles à poids ouverts dans plusieurs domaines, notamment la cybersécurité, la finance et l’industrie.
Les benchmarks internes sont prometteurs, mais ils devront évidemment être confrontés à des tests indépendants.
C’est particulièrement important dans un marché où chaque laboratoire publie ses propres batteries de tests.
Un enjeu stratégique pour l’Europe
La taille du modèle n’est pas la seule information importante.
Mistral a récemment levé plusieurs milliards d’euros afin d’augmenter fortement ses capacités de calcul en Europe.
Large 4 représente donc aussi la première démonstration visible de cette stratégie.
L’entreprise cherche à montrer qu’un acteur européen peut encore construire un modèle de très grande taille tout en gardant une partie importante de son infrastructure sur le continent.
La vraie bataille sera désormais celle de l’usage
Un modèle de 1 000 milliards de paramètres impressionne sur une fiche technique.
Mais sa réussite dépendra surtout de trois choses :
- les performances réelles ;
- le coût d’utilisation ;
- la facilité de déploiement.
Si Large 4 reste compétitif sur ces trois points, Mistral pourrait renforcer sérieusement sa position face aux modèles américains et chinois.
La publication des poids à la fin du mois donnera probablement une première réponse beaucoup plus objective.
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
