Hugging Face présente comment quantifier les pipelines de diffusion basés sur Transformer avec les utilitaires Quanto de la bibliothèque Diffusers.
Motif de la recommandation :L'article détaille les gains de mémoire mesurés sur trois pipelines de diffusion Transformer avec Quanto, avec des tableaux de latence et de qualité.
Hugging Face et NVIDIA lancent l'API NVIDIA NIM (serverless) sur le Hugging Face Hub.
Meta publie la famille Llama 3.1 en trois tailles (8B, 70B, 405B), chacune en version base et instruct.
Motif de la recommandation :Détaille les exigences mémoire, les intégrations et les recettes de quantification de Llama 3.1, utile pour planifier le déploiement et le fine-tuning.
Le blog Hugging Face détaille comment exécuter Mistral 7B sur Mac via Core ML, en utilisant les nouvelles fonctionnalités de la WWDC 24 comme les tenseurs Swift.
Mistral AI publie Mistral NeMo, un modèle 12B développé en collaboration avec NVIDIA.
Motif de la recommandation :Mistral NeMo est un modèle 12B à fenêtre de 128k, sous licence Apache 2.0, avec un tokenizer Tekken plus efficace et une quantification FP8, ce qui permet d'évaluer les compromis entre taille, contexte et coût d'inférence.
OpenAI ajoute à ChatGPT Enterprise des intégrations via la Compliance API, le support SCIM et des contrôles GPT pour accompagner les programmes de conformité.
Hugging Face annonce la fonctionnalité Multi-LoRA de TGI.
Motif de la recommandation :L'article détaille le déploiement d'un modèle de base unique servant 30 adaptateurs LoRA, avec des chiffres de coût et de VRAM pour évaluer la charge opérationnelle.
Hugging Face détaille la création d'un chatbot pour Argilla 2.0 en s'appuyant sur distilabel pour générer un dataset synthétique et fine-tuner un modèle d'embedding spécialisé. Le processus couvre le chunking de la documentation technique (environ 256 tokens par chunk), la génération de questions synthétiques et d'exemples négatifs difficiles, la création d'une base vectorielle et le déploiement du chatbot sur Hugging Face Spaces. Les interactions sont stockées dans Argilla pour une évaluation et une amélioration continues.
Hugging Face et KerasHub annoncent une intégration : Transformers et KerasHub partagent désormais un format de sauvegarde de modèles.
Motif de la recommandation :L'original expose le format de sauvegarde partagé entre Transformers et KerasHub, ce qui permet de charger directement plus de 300 000 modèles fine-tunés dans KerasHub.
Hugging Face rend disponible Google TPU v5e sur ses Inference Endpoints et Spaces.
Banque des Territoires (groupe CDC), Polyconseil et Hugging Face ont achevé la première phase d'une solution RAG souveraine destinée à optimiser l'accompagnement du programme EduRénov de rénovation écologique de 10 000 bâtiments scolaires publics. Le dispositif vise 40 % d'économies d'énergie en 5 ans, avec 2 milliards d'euros de prêts et 50 millions d'euros d'ingénierie préparatoire. Après un an, près de 2 000 projets ont été signés, et le CDC a imposé la souveraineté des services de calcul et des modèles, en s'appuyant notamment sur Text Generation Inference, Transformers, Sentence Transformers et Tokenizers de Hugging Face.
Intel et MILA ont porté le modèle de langage protéique ProtST sur l'accélérateur Intel Gaudi 2 via la bibliothèque Optimum for Intel Gaudi.
Google a publié Gemma 2, sa nouvelle famille de LLM ouverts, disponible en versions 9B et 27B.
Motif de la recommandation :L'article détaille les choix techniques de Gemma 2 et son intégration dans l'écosystème Hugging Face, utile pour évaluer les compromis de déploiement.
XLSCOUT a dévoilé ParaEmbed 2.0, un modèle d'embedding propriétaire destiné aux brevets et à la propriété intellectuelle.
Le modèle vision-langage Florence-2 de Microsoft (0,2B et 0,7B paramètres) peut être fine-tuné pour la réponse visuelle à des questions (VQA).
Paf a adopté ChatGPT Enterprise dans toute l'entreprise.
Color Health collabore avec OpenAI pour accélérer l'accès des patients atteints de cancer au traitement via son application Cancer Copilot.
Hugging Face Accelerate expose désormais DeepSpeed et PyTorch FSDP de manière harmonisée.
Hugging Face présente le RLOO (REINFORCE Leave One-Out) Trainer dans TRL.
Motif de la recommandation :L'article détaille l'implémentation de RLOO dans TRL, avec des comparaisons de mémoire et de vitesse face à PPO, utile pour choisir une méthode d'entraînement RLHF.
OpenAI et Apple annoncent un partenariat visant à intégrer ChatGPT dans les expériences Apple.
Hugging Face annonce la disponibilité générale de son Embedding Container pour Amazon SageMaker.
Hugging Face entreprend une refonte de la documentation de Transformers.
Mistral AI annonce la personnalisation de modèles sur la Plateforme, avec trois points d'entrée.
Motif de la recommandation :Mistral ouvre trois voies de personnalisation, du SDK open source au fine-tuning serverless, ce qui permet de situer le coût et l'effort requis selon son infrastructure.
Hugging Face a intégré le support de la génération assistée (Assisted Generation) pour Intel Gaudi dans Optimum Habana.
MavenAGI a lancé un agent de service client IA construit sur GPT-4, déjà utilisé par Tripadvisor.
Hugging Face présente l'outil TGI Benchmarking, installé avec Text Generation Inference.
Hugging Face rend disponible le déploiement de plus de 100 000 modèles publics sur AWS Inferentia2 via Amazon SageMaker et Hugging Face Inference Endpoints.
Hugging Face et Microsoft approfondissent leur collaboration stratégique avec l'ajout de Llama 3.
Hugging Face et Dell lancent Dell Enterprise Hub, une expérience sur Hugging Face permettant d'entraîner et de déployer des modèles ouverts en local sur les plateformes Dell.
Hugging Face annonce l'intégration de première classe des GPU AMD Instinct MI300 dans sa plateforme.
Canva, plateforme de communication visuelle utilisée par plus de 175 millions de personnes chaque mois.
Hugging Face intègre la quantification du KV cache dans Transformers.
Hugging Face et LangChain lancent langchain_huggingface.
Hugging Face permet désormais de passer une organisation au forfait Enterprise Hub en utilisant un compte AWS.
Intel présente dans un blog comment déployer des applications RAG d'entreprise via OPEA (Open Platform for Enterprise AI).
OpenAI et Stack Overflow annoncent un partenariat API associant la plateforme de connaissances techniques de Stack Overflow aux modèles LLM d'OpenAI pour l'IA. L'objectif affiché est de doter les développeurs des forces combinées de la principale plateforme de contenus hautement techniques et des modèles LLM les plus populaires pour le développement d'IA.
Hugging Face montre comment déployer sur Inference Endpoints un pipeline combinant Whisper (openai/whisper-large-v3).
Hugging Face et Dottxt proposent d'utiliser la génération structurée, via la bibliothèque Outlines.
OpenAI ajoute des fonctionnalités de sécurité et de contrôle à son API destinées aux clients entreprises.
Meta publie Llama 3, la nouvelle génération de sa famille de LLM open source, disponible sur Hugging Face en versions 8B et 70B.
Motif de la recommandation :L'article détaille les spécifications de Llama 3, les intégrations dans l'écosystème Hugging Face et les méthodes de déploiement, ce qui permet de comprendre les capacités du modèle et les options d'utilisation.