Orientations techniques
L'actualité des modèles, frameworks et dépôts open source : ouverture des poids, succès fulgurants des projets communautaires, rapport de force entre open source et modèles fermés.
228 sélections30 derniers jours 15 entréesTotal : 438 entrées
Mistral AI annonce un palier gratuit sur la Plateforme.
Motif de la recommandation :L'annonce détaille les nouveaux tarifs par modèle et le palier gratuit de la Plateforme, ce qui permet d'évaluer le coût d'usage des API Mistral.
Mistral AI annonce Pixtral 12B, un modèle multimodal natif entraîné sur des données d'images et de texte entrelacées.
Motif de la recommandation :Présente l'architecture et les performances de Pixtral 12B, avec des comparaisons face aux modèles ouverts et fermés de même échelle.
Hugging Face a publié la première release candidate d'Accelerate 1.0.0, une bibliothèque d'entraînement distribué utilisée par transformers.
Motif de la recommandation :L'annonce détaille les changements cassants et les nouvelles intégrations de la version 1.0.0, ce qui aide les utilisateurs à évaluer la migration.
Le Technology Innovation Institute (TII) d'Abu Dhabi publie Falcon Mamba 7B, présenté comme le premier grand modèle 7B sans attention.
Motif de la recommandation :L'article détaille l'architecture sans attention, les benchmarks comparatifs et le support dans l'écosystème Hugging Face, utile pour évaluer les compromis des SSM.
Hugging Face annonce officiellement l'acquisition de XetHub, une entreprise de Seattle fondée par Yucheng Low.
Motif de la recommandation :L'annonce détaille l'acquisition de XetHub par Hugging Face et les gains attendus pour le stockage des dépôts de modèles et de jeux de données.
Mistral AI annonce la possibilité de personnaliser n'importe lequel de ses modèles phares et spécialisés sur La Plateforme.
Motif de la recommandation :Mistral AI expose en détail la personnalisation de modèles, les Agents en alpha et le SDK 1.0, ce qui permet de juger des changements concrets pour les développeurs.
Google élargit la famille Gemma avec trois ajouts : Gemma 2 2B, la version 2,6 milliards de paramètres de Gemma 2 adaptée à une exécution sur appareil.
Motif de la recommandation :L'article détaille les trois ajouts de Google à la famille Gemma et fournit des exemples de code pour l'inférence locale et la génération assistée.
Meta publie la famille Llama 3.1 en trois tailles (8B, 70B, 405B), chacune en version base et instruct.
Motif de la recommandation :Détaille les exigences mémoire, les intégrations et les recettes de quantification de Llama 3.1, utile pour planifier le déploiement et le fine-tuning.
Mistral AI publie Mistral NeMo, un modèle 12B développé en collaboration avec NVIDIA.
Motif de la recommandation :Mistral NeMo est un modèle 12B à fenêtre de 128k, sous licence Apache 2.0, avec un tokenizer Tekken plus efficace et une quantification FP8, ce qui permet d'évaluer les compromis entre taille, contexte et coût d'inférence.
Mistral AI publie Codestral Mamba, un modèle de code sous licence Apache 2.0 conçu avec Albert Gu et Tri Dao.
Motif de la recommandation :Codestral Mamba adopte l'architecture Mamba avec une inférence en temps linéaire et un contexte testé jusqu'à 256k tokens, un point de repère pour évaluer les alternatives aux Transformer sur le code.
Mistral AI publie Mathstral, un modèle instructif 7B spécialisé dans les problèmes mathématiques et STEM à raisonnement logique multi-étapes.
Motif de la recommandation :Mathstral 7B atteint 56,6 % sur MATH et 63,47 % sur MMLU, avec des gains supplémentaires via majority voting et reward model, ce qui éclaire les compromis performance/vitesse pour les modèles spécialisés.
Numina et Hugging Face ont remporté le 1er Progress Prize de l'AI Math Olympiad (AIMO) avec NuminaMath 7B TIR.
Motif de la recommandation :L'article détaille la recette d'entraînement en deux étapes et l'algorithme SC-TIR qui ont permis de résoudre 29 problèmes sur 50, une méthode transférable pour le fine-tuning d'un modèle de raisonnement mathématique.
Hugging Face et KerasHub annoncent une intégration : Transformers et KerasHub partagent désormais un format de sauvegarde de modèles.
Motif de la recommandation :L'original expose le format de sauvegarde partagé entre Transformers et KerasHub, ce qui permet de charger directement plus de 300 000 modèles fine-tunés dans KerasHub.
L'équipe Hugging Face indique que son Code Agent construit avec Transformers Agents atteint 44.
Motif de la recommandation :L'original expose la conception d'un Code Agent et sa performance sur GAIA, avec des détails sur l'interpréteur sécurisé et l'orchestration multi-agents.
Google a publié Gemma 2, sa nouvelle famille de LLM ouverts, disponible en versions 9B et 27B.
Motif de la recommandation :L'article détaille les choix techniques de Gemma 2 et son intégration dans l'écosystème Hugging Face, utile pour évaluer les compromis de déploiement.
Hugging Face présente le RLOO (REINFORCE Leave One-Out) Trainer dans TRL.
Motif de la recommandation :L'article détaille l'implémentation de RLOO dans TRL, avec des comparaisons de mémoire et de vitesse face à PPO, utile pour choisir une méthode d'entraînement RLHF.
Stable Diffusion 3 Medium (2B paramètres) de Stability AI est disponible sur le Hugging Face Hub et utilisable avec Diffusers. Le modèle repose sur une architecture MMDiT avec trois encodeurs de texte (CLIP L/14, OpenCLIP bigG/14, T5-v1.1-XXL) et un autoencodeur 16 canaux, entraîné avec un objectif de rectified flow matching. L'intégration Diffusers inclut des optimisations mémoire (offloading CPU, suppression de l'encodeur T5, quantification 8 bits via bitsandbytes) permettant de réduire la consommation de 18,7 Go à 4,3 Go, ainsi que des scripts de fine-tuning DreamBooth et LoRA.
Motif de la recommandation :Le billet détaille l'intégration de SD3 Medium dans Diffusers, avec optimisations mémoire et scripts de fine-tuning LoRA directement réutilisables.
Mistral AI annonce la personnalisation de modèles sur la Plateforme, avec trois points d'entrée.
Motif de la recommandation :Mistral ouvre trois voies de personnalisation, du SDK open source au fine-tuning serverless, ce qui permet de situer le coût et l'effort requis selon son infrastructure.
Mistral AI présente Codestral, son premier modèle de génération de code.
Motif de la recommandation :Codestral est un modèle de code open-weight de 22B avec une fenêtre de contexte de 32k, ce qui permet d'évaluer ses performances et son intégration dans les outils de développement.
Mistral AI annonce la Mistral AI Non-Production License (MNPL).
Motif de la recommandation :Mistral AI introduit la MNPL et publie Codestral sous cette licence, ce qui permet de comprendre comment un laboratoire concilie ouverture et modèle économique.