A l'occasion du Meta AI Day qui s'est tenu à Londres mardi, le président des affaires internationales chez Meta Nick Clegg a confirmé que l'entreprise prévoyait de "commencer à déployer" Llama 3 courant mai. Il a également mentionné la sortie de plusieurs versions différentes du produit, avec différentes capacités, pour certaines très prochainement. La tournée a été poursuivie hier à Paris par Joëlle Pineau, vice-présidente en charge de l’IA chez Meta, et Yann Le Cun, qui a créé le laboratoire Facebook AI Research (Fair).
En résumé, Meta Platforms se prépare à lancer dans les jours qui viennent deux versions réduites de son prochain modèle de langage open source, Llama 3. Ces lancements serviront de prélude à la version la plus importante de Llama 3, prévue pour cet été. Cette dernière devrait comprendre 140 milliards de paramètres. Encore bien loin de GPT-4, mais assez pour que le modèle devienne multimodal, et donc capable de générer à partir d’un prompt textuel aussi bien du texte que des images, voire du son et de la vidéo.
Petit Llama deviendra grand
En revanche, les deux petits modèles attendus dans les jours à venir ne seront pas multimodaux. Mais ils devraient aider à générer de l'enthousiasme pour Llama 3, qui sera lancé environ un an après Llama 2 en juillet dernier. Les enjeux sont de taille : Meta investira quelque 35 milliards de dollars cette année dans l’IA.
Or, depuis Llama2, les LLM en open source se sont multipliés. La française Mistral semble en passe d’éclipser Llama2, par ses réseaux de modèles en mélange d’experts (MoE), comme le tout récent Mixtral 8x22B, lancé hier mercredi. Son modèle Large semble capable de rivaliser avec GPT-4 et Claude 2 (lire Qant du 27 février). Dans une conversion récente, X.AI a également rendu public le code source du modèle Grok-1 sur GitHub le mois dernier (lire Qant du 19 mars).
Ce lancement en plusieurs étapes n'est pas sans rappeler celui de Gemini par Google fin 2023 et début 2024, qui avait espacé les différentes versions de son modèle : Nano, Pro, et Ultra (lire Qant du 7 décembre 2023). Meta avait de même lancé trois modèles de Llama 2, dotés de 70 milliards, 13 milliards et 7 milliards de paramètres respectivement.
Les modèles plus petits sont par construction moins coûteux et plus rapides à exécuter que les plus grands. Ils peuvent parfois tourner en local et permettent notamment de développer des outils d’IA sur les smartphones.
Que crachera Llama3 ?
Llama 3 deviendra le modèle de fondation des applications de Meta. Les chercheurs de l'entreprise ont travaillé à le rendre plus ouvert aux controverses que Llama 2, jugé trop conservateur dans ses réponses. Fin février, des hallucinations de Gemini générant des portraits non factuels au nom de la diversité – comme des femmes parmi les pères fondateurs des États-Unis, ou des Waffen SS d’origine africaine – avaient fait scandale entraîné une suspension temporaire de la génération d’images sur Google (lire Qant du 23 février).
L'objectif de Meta avec Llama 3 est de trouver un juste milieu entre la sécurité et l'utilité, permettant au modèle de fournir des réponses contextuelles et nuancées, même face à des questions délicates. Pour y parvenir, le groupe prévoit de nommer un responsable interne pour superviser la formation sur le ton et la sécurité, visant à enrichir les réponses du modèle sans franchir les lignes rouges.
Tellement simple.
Pour en savoir plus :