Motif de la recommandation :Détaille les exigences mémoire, les intégrations et les recettes de quantification de Llama 3.1, utile pour planifier le déploiement et le fine-tuning.
Motif de la recommandation :L'original expose le format de sauvegarde partagé entre Transformers et KerasHub, ce qui permet de charger directement plus de 300 000 modèles fine-tunés dans KerasHub.
OpenAI annonce un partenariat de contenu stratégique avec TIME, s'appuyant sur 101 ans d'archives du magazine pour améliorer les réponses et fournir des liens vers les articles de Time.com.
Stable Diffusion 3 Medium (2B paramètres) de Stability AI est disponible sur le Hugging Face Hub et utilisable avec Diffusers. Le modèle repose sur une architecture MMDiT avec trois encodeurs de texte (CLIP L/14, OpenCLIP bigG/14, T5-v1.1-XXL) et un autoencodeur 16 canaux, entraîné avec un objectif de rectified flow matching. L'intégration Diffusers inclut des optimisations mémoire (offloading CPU, suppression de l'encodeur T5, quantification 8 bits via bitsandbytes) permettant de réduire la consommation de 18,7 Go à 4,3 Go, ainsi que des scripts de fine-tuning DreamBooth et LoRA.
Motif de la recommandation :Le billet détaille l'intégration de SD3 Medium dans Diffusers, avec optimisations mémoire et scripts de fine-tuning LoRA directement réutilisables.
Motif de la recommandation :Mistral ouvre trois voies de personnalisation, du SDK open source au fine-tuning serverless, ce qui permet de situer le coût et l'effort requis selon son infrastructure.
Motif de la recommandation :Mistral introduit une licence non commerciale et publie Codestral sous ce régime, ce qui éclaire le lecteur sur les conditions d'usage de ses modèles.
Hugging Face et Dell lancent Dell Enterprise Hub, une expérience sur Hugging Face permettant d'entraîner et de déployer des modèles ouverts en local sur les plateformes Dell.
Hugging Face publie Transformers Agents 2.0, qui introduit deux nouveaux agents capables d'itérer à partir d'observations passées pour résoudre des tâches complexes.
Motif de la recommandation :Le cadre d'agents open source expose la séparation entre moteur LLM et type d'agent, ainsi que les résultats comparés de Llama-3-70B et GPT-4 sur GAIA.
Hugging Face présente l'Open CoT Leaderboard, un classement qui mesure le gain de précision apporté par le chain-of-thought (Δ = précision avec CoT – précision sans CoT) plutôt que la précision absolue des LLM. Il évalue les tâches LogiQA, LSAT et AGIEval/logikon-bench, en rendant les modèles plus robustes à la contamination des données d'entraînement. Deux stratégies de génération de traces de raisonnement sont implémentées : Classic (« Let's think step by step ») et Reflect.
Hugging Face publie JAT (Jack of All Trades), un agent Transformer unique entraîné sur un dataset de centaines de milliers de trajectoires d'experts couvrant Atari.
Motif de la recommandation :L'article détaille l'architecture et les résultats d'un agent Transformer unique couvrant jeux vidéo, robotique et navigation, avec dataset et modèles ouverts.
Hugging Face lance Deploy on Google Cloud, une intégration du Hub permettant de déployer des milliers de modèles ouverts sur Google Cloud via Vertex AI ou GKE.
Zelma s'appuie sur GPT-4 pour rendre les données éducatives accessibles. Le projet exploite le modèle d'OpenAI afin de lever les barrières d'accès à ces données.
Hugging Face présente la quantification des embeddings comme une étape de post-traitement qui réduit la mémoire et le stockage sans réduire la dimensionnalité. La quantification binaire convertit les valeurs float32 en 1 bit, soit une réduction de 32x, et permet de conserver environ 96 % des performances de retrieval grâce à une étape de rescoring avec l'embedding de requête float32 ; la quantification scalaire en int8 réduit la taille de 4x et atteint environ 99 % des performances avec un rescore_multiplier de 4 à 5. Sur un benchmark MTEB Retrieval, la quantification binaire offre un gain de vitesse moyen de 24,76x et la quantification int8 de 3,66x. Une démo combine recherche binaire et rescoring int8 sur 41 millions de textes Wikipédia, avec 5,2 Go de mémoire et 52 Go d'espace disque contre 200 Go pour un retrieval float32 classique. Le code est disponible via Sentence Transformers et des scripts d'exemple.
Motif de la recommandation :L'article détaille les principes et le code de la quantification binaire et scalaire des embeddings, avec des gains de vitesse et de coût mesurés sur 41 millions de textes.
OpenAI a noué un partenariat avec Le Monde et Prisa Media pour intégrer des contenus d'actualité en français et en espagnol dans ChatGPT. Les deux groupes de presse apportent ainsi leurs contenus éditoriaux à l'assistant, élargissant la couverture linguistique de ChatGPT au-delà de l'anglais.
Argilla et Hugging Face lancent « Data is Better Together », une expérience de construction collective d'un dataset de préférences par classement de prompts.
Motif de la recommandation :Mistral Large est publié avec une fenêtre de contexte de 32K, le function calling et un accès via Azure, ce qui permet de situer le positionnement du modèle et les options d'intégration.
Hugging Face introduit Messages API, qui apporte la compatibilité avec l'API OpenAI Chat Completion à Text Generation Inference (TGI) et Inference Endpoints à partir de la version 1.4.0 de TGI. L'API peut être utilisée directement avec les bibliothèques clientes d'OpenAI ou des outils tiers comme LangChain et LlamaIndex, et elle est disponible sur Inference Endpoints en versions dédiée et serverless. Elle ne prend pas encore en charge le function calling et ne fonctionne qu'avec les LLM disposant d'un chat_template défini dans la configuration de leur tokenizer, comme Mixtral 8x7B Instruct.
Motif de la recommandation :L'original détaille la compatibilité OpenAI de TGI et les étapes de migration, ce qui aide le lecteur à évaluer le coût de bascule vers des LLM ouverts.
Motif de la recommandation :SegMoE permet de créer des modèles de diffusion Mixture-of-Experts à partir de modèles pré-entraînés, avec un package et une intégration diffusers directement réutilisables.
Motif de la recommandation :L'article fournit une recette complète d'alignement Constitutional AI avec des modèles ouverts, incluant datasets, modèles et outil de génération à grande échelle.
Hugging Face et Google Cloud ont annoncé un partenariat stratégique pour démocratiser le machine learning et permettre aux entreprises de construire leur propre IA avec des modèles ouverts. Les clients de Google Cloud pourront entraîner et déployer les modèles Hugging Face via Google Kubernetes Engine (GKE) et Vertex AI, en s'appuyant sur les TPU, les VM A3 équipées de GPU NVIDIA H100 Tensor Core et les VM C3. Les utilisateurs du Hugging Face Hub bénéficieront du déploiement en production via Inference Endpoints et de l'accélération par TPU sur Hugging Face Spaces, avec des annonces prévues dès ce trimestre.
Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.
Unsloth, une bibliothèque légère développée par la communauté, accélère le fine-tuning des LLM jusqu'à 2x et réduit l'usage de mémoire jusqu'à 74% sans dégradation de précision.
Motif de la recommandation :L'article détaille les gains de vitesse et de mémoire d'Unsloth pour le fine-tuning, avec des benchmarks reproductibles et un exemple d'intégration à TRL.