IA générative : Mistral AI lance son nouveau modèle open source Mixtral 8x22B

  • ia-generative-mistral-ai-lance-nouveau-modele-open-source-mixtral-8x22b.jpg

    IA-generative-Mistral-AI-lance-nouveau-modele-open-source-Mixtral-8x22B
    Mistral AI annonce un nouveau modèle open source. (freepik/EyeEm)
  • La licorne française Mistral AI annonce le lancement de son nouveau modèle d’intelligence artificielle générative open source nommé Mixtral 8x22B. 

    Mistral AI, start-up française spécialisée dans l’intelligence artificielle générative, l’avait promis en mars dernier : elle n’abandonnera pas l’open source suite à son partenariat avec Microsoft. Preuve en est, Mistral AI a annoncé le 10 avril dernier le lancement de Mixtral 8x22B, son dernier modèle open source. La start-up tricolore a diffusé la nouvelle en publiant sur la plateforme X, permettant ainsi le téléchargement direct et l’expérimentation de son nouveau modèle. 

    Un nouveau modèle plus volumineux

    La nouvelle version du modèle open source de Mistral AI présente un volume conséquent de données téléchargeables avec environ 262 gigaoctets répartis en quatre fichiers. Ce qui le rend, par conséquent, trois fois plus volumineux que le modèle précédent. A l’instar de son modèle Mixtral 8x7B publié en décembre dernier, le 8x22B est également basé sur une architecture à mélange clairsemé d’experts appelé SMoE (Sparse Mixture of Expert) publiés sous licence Apache 2.0.

    Une performance qui reste à évaluer

    Bien que Mixtral 8x22B entre en scène avec 176 milliards de paramètres totaux et une fenêtre contextuelle d’environ 65 000 jetons, la performance réelle du modèle reste à évaluer. Celui-ci a été rendu disponible sur Hugging Face, une plateforme de développement d’outils utilisant l'apprentissage automatique (ML), pour entraîner le modèle sur des données extraites du web. Affaire à suivre.
     

    À lire sur Archimag
    Les podcasts d'Archimag
    Êtes-vous prêt pour la réforme de la facturation électronique ? À moins de 460 jours du grand lancement, l’écosystème se prépare activement. Lors de la Journée de la Facturation Électronique qui s'est tenue le 13 mai dernier à Paris, Archimag Podcast est allé à la rencontre des acteurs incontournables de cette réforme : les Plateformes de dématérialisation partenaires, ou PDP. Ensemble, nous avons parlé de leur rôle, de leurs spécificités, de leur modèle économique et de leur secret de longévité. Dans cet épisode, nous vous dévoilons qui sont ces acteurs et ce qu'ils préparent pour accompagner la réforme.

    Serda Formations Data 2023