Mistral AI, start-up française spécialisée dans l’intelligence artificielle générative, l’avait promis en mars dernier : elle n’abandonnera pas l’open source suite à son partenariat avec Microsoft. Preuve en est, Mistral AI a annoncé le 10 avril dernier le lancement de Mixtral 8x22B, son dernier modèle open source. La start-up tricolore a diffusé la nouvelle en publiant sur la plateforme X, permettant ainsi le téléchargement direct et l’expérimentation de son nouveau modèle.
Un nouveau modèle plus volumineux
La nouvelle version du modèle open source de Mistral AI présente un volume conséquent de données téléchargeables avec environ 262 gigaoctets répartis en quatre fichiers. Ce qui le rend, par conséquent, trois fois plus volumineux que le modèle précédent. A l’instar de son modèle Mixtral 8x7B publié en décembre dernier, le 8x22B est également basé sur une architecture à mélange clairsemé d’experts appelé SMoE (Sparse Mixture of Expert) publiés sous licence Apache 2.0.
Une performance qui reste à évaluer
Bien que Mixtral 8x22B entre en scène avec 176 milliards de paramètres totaux et une fenêtre contextuelle d’environ 65 000 jetons, la performance réelle du modèle reste à évaluer. Celui-ci a été rendu disponible sur Hugging Face, une plateforme de développement d’outils utilisant l'apprentissage automatique (ML), pour entraîner le modèle sur des données extraites du web. Affaire à suivre.
