Hugging Face publie Optimum-NVIDIA, une bibliothèque d'inférence qui accélère l'inférence des LLM sur la plateforme NVIDIA en modifiant une seule ligne de code.
Motif de la recommandation :L'original expose le point d'entrée d'une ligne, le gain de débit et la prise en charge de FP8, ce qui permet de juger l'impact sur le déploiement existant.
Hugging Face a réduit le temps de démarrage à froid de l'inférence LoRA de 25 s à 3 s et le temps de réponse de 35 s à 13 s en gardant le modèle de base Stable Diffusion XL chargé et en échangeant les adaptateurs LoRA à la demande. Le Hub héberge environ 2500 LoRA publics, dont environ 92 % reposent sur Stable Diffusion XL Base 1.0, et cette mutualisation permet de servir des centaines de LoRA distincts avec moins de 5 GPU A10G. L'article détaille l'implémentation dans Diffusers avec load_lora_weights, fuse_lora, unload_lora_weights et unfuse_lora, ainsi que les temps de chargement et d'inférence mesurés sur T4 et A10G.
Motif de la recommandation :L'article détaille le mécanisme de mutualisation des adaptateurs LoRA et les gains mesurés, utile pour ceux qui déploient plusieurs modèles fine-tunés.
Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.
Hugging Face présente les LoRA Latent Consistency (LCM).
Motif de la recommandation :L'article détaille une méthode LoRA pour accélérer SDXL et SD 1.5 en 4 étapes, avec code, benchmarks et scripts d'entraînement directement réutilisables.
Explosion lance Prodigy-HF, un plugin qui intègre directement l'outil d'annotation Prodigy au stack Hugging Face. Il permet de fine-tuner tout modèle Transformer du Hub.
Hugging Face compare RoBERTa-large (355M paramètres), Llama-2-7b et Mistral-7B-v0.1 sur la classification de tweets de catastrophes.
Hugging Face permet désormais de déployer Llama 2 pour la génération de texte sur AWS Inferentia2 via optimum-neuron.
Hugging Face présente HugCoder, un LLM de code fine-tuné sur les dépôts publics de l'organisation Hugging Face.
Motif de la recommandation :L'article détaille le workflow complet de collecte de données, de fine-tuning QLoRA et de déploiement local d'un copilote de code, avec des scripts et des configurations réutilisables.
Renumics Spotlight permet de visualiser interactivement les datasets Hugging Face avec une seule ligne de code.
Le blog Hugging Face présente des techniques d'optimisation de Stable Diffusion XL pour réduire la consommation mémoire et accélérer l'inférence.
Hugging Face détaille le déploiement de modèles d'embedding open source sur Inference Endpoints via Text Embeddings Inference (TEI).
Hugging Face publie une reproduction du codebase RLHF original d'OpenAI (openai/lm-human-preferences) et détaille les détails d'implémentation nécessaires pour reproduire ses courbes d'apprentissage sur des tâches stylistiques. Le codebase de reproduction (https://github.com/vwxyzjn/lm-human-preference-details) atteint des courbes quasi identiques à celles d'OpenAI, avec un espace de démonstration et les logs d'entraînement disponibles. L'article identifie une différence entre l'optimiseur Adam de PyTorch et celui de TensorFlow : PyTorch utilise un terme de normalisation plus petit en début d'entraînement, ce qui provoque des mises à jour de gradient plus agressives et affecte davantage les grands modèles comme gpt2-xl.
Hugging Face publie @gradio/lite, une bibliothèque JavaScript qui s'appuie sur Pyodide pour exécuter des applications Gradio directement dans le navigateur.
Motif de la recommandation :Présente le fonctionnement sans serveur de Gradio dans le navigateur et ses limites de chargement, utile pour évaluer les options de déploiement.
ONNX Runtime prend en charge plus de 130 000 modèles compatibles ONNX sur Hugging Face.
Hugging Face annonce que ses tokenizers disposent désormais d'un attribut chat_template.
Motif de la recommandation :L'article explique comment les chat templates stockent le format d'entraînement dans le tokenizer et évitent une dégradation silencieuse des performances.
Hugging Face explique comment dupliquer et configurer le Space AI Comic Factory pour le déployer sur son propre compte via l'Inference API.
Hugging Face a porté ses positions sur l'éthique de l'IA auprès des législateurs de l'UE.
Le blog Hugging Face présente DDPOTrainer, un nouvel outil de la bibliothèque TRL permettant de fine-tuner des modèles de diffusion comme Stable Diffusion par apprentissage par renforcement. DDPO modélise le processus de débruitage comme un processus de décision markovien et utilise PPO pour optimiser une fonction de récompense, par exemple un prédicteur esthétique entraîné sur le jeu de données AVA. L'article détaille l'installation (pip install trl[diffusers]), le script d'exemple ddpo.py, les hyperparamètres recommandés pour un entraînement sur GPU unique (200 époques, train_batch_size 3, learning rate 3e-4) et les limites actuelles, notamment la restriction aux modèles SD vanilla et la difficulté de trouver les bons hyperparamètres sans LoRA.
Motif de la recommandation :L'article détaille l'intégration de DDPO dans la bibliothèque TRL et fournit les hyperparamètres recommandés pour le fine-tuning de Stable Diffusion.
Hugging Face publie un tutoriel permettant à des non-ingénieurs d'entraîner et déployer un chatbot LLaMA 2 sans écrire une seule ligne de code.
Mistral AI publie Mistral 7B, un modèle de 7,3 milliards de paramètres sous licence Apache 2.0.
Motif de la recommandation :Mistral 7B est publié sous licence Apache 2.0 avec des comparaisons détaillées face à Llama 2 et des optimisations d'inférence, ce qui permet de juger du compromis coût-performance.
Hugging Face a publié un benchmark de plus de 60 configurations de déploiement de Llama 2 sur Amazon SageMaker avec le Hugging Face LLM Inference Container. Les tests couvrent les tailles 7B, 13B et 70B sur des instances g5.2xlarge, g5.12xlarge, g5.48xlarge (NVIDIA A10G) et p4d.24xlarge (NVIDIA A100 40GB), avec 1, 5, 10 et 20 requêtes simultanées, en comparant notamment la quantification GPTQ 4-bit. Les recommandations distinguent le déploiement le plus économique, le meilleur débit et la meilleure latence ; le code, les données brutes et le tableur sont publiés sur GitHub.
Hugging Face lance Inference for PROs, une offre communautaire donnant aux utilisateurs PRO un accès à des endpoints API dédiés pour des modèles sélectionnés.
Rocket Money a choisi l'Inference API de Hugging Face pour héberger ses modèles BERT de classification de transactions.
Hugging Face a mis en ligne un Object Detection Leaderboard qui classe les modèles de détection d'objets disponibles sur le Hub selon plusieurs métriques. Le classement s'appuie sur l'IoU.
Le 3D Gaussian Splatting est une technique de rastérisation décrite dans l'article 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
Motif de la recommandation :Décompose le principe, l'entraînement et les limites du 3D Gaussian Splatting, avec des repères concrets sur le VRAM et les visionneuses existantes.
Hugging Face détaille les techniques d'optimisation pour déployer des LLM en production.
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB.
Motif de la recommandation :Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Hugging Face présente Würstchen, un modèle de diffusion texte-image qui atteint une compression spatiale de 42x grâce à une architecture en trois étapes (VQGAN.
Motif de la recommandation :Le modèle atteint une compression spatiale 42x et un coût d'entraînement réduit, avec une intégration Diffusers directement réutilisable.
Hugging Face détaille les deux schémas de quantification nativement intégrés à Transformers.
Hugging Face a lancé SafeCoder, une solution d'assistant de code pour l'entreprise.
L'équipe Diffusers et les auteurs de T2I-Adapter ont collaboré pour intégrer le support des T2I-Adapters pour Stable Diffusion XL (SDXL) dans diffusers. T2I-Adapter-SDXL ne pèse que 79 M de paramètres (158 Mo en fp16), soit une réduction de 93,69 % par rapport à ControlNet-SDXL (1251 M, 2,5 Go), et n'est exécuté qu'une seule fois pendant tout le processus de débruitage. Les points de contrôle entraînés sur 3M d'images LAION-Aesthetics V2 sont disponibles pour les conditions sketch, canny, lineart, depth et openpose, avec un script d'entraînement et un exemple d'utilisation via StableDiffusionXLAdapterPipeline.
Motif de la recommandation :L'article détaille l'entraînement et l'usage des T2I-Adapters pour SDXL, avec des scripts et des points de contrôle ouverts, permettant de reproduire et de contrôler la génération d'images.
Le Falcon 180B de TII rejoint Hugging Face Hub, avec 180 milliards de paramètres entraînés sur 3.
Motif de la recommandation :Falcon 180B est le plus grand modèle ouvert à sa sortie, avec 180B paramètres et 3,5T tokens d'entraînement, ce qui permet de situer les capacités des modèles ouverts face aux modèles propriétaires.
Fetch a réduit de 50 % la latence de ses scans les plus lents en optimisant son pipeline ML avec Amazon SageMaker et Hugging Face. L'entreprise.
Le blog Hugging Face montre comment utiliser AudioLDM 2 dans la bibliothèque Diffusers avec quatre optimisations cumulables.
Hugging Face annonce l'intégration de Code Llama, une famille de modèles ouverts dérivés de Llama 2 spécialisés sur le code.
Motif de la recommandation :Présente les trois tailles de Code Llama, la fenêtre de contexte étendue et l'intégration complète dans l'écosystème Hugging Face.
Hugging Face annonce l'intégration de la bibliothèque AutoGPTQ dans Transformers.
Motif de la recommandation :L'intégration d'AutoGPTQ dans Transformers permet de quantifier et exécuter des LLM en 4, 3 ou 2 bits avec une perte de précision négligeable et une latence proche du fp16.
Hugging Face annonce SafeCoder, une solution commerciale complète d'assistant de code auto-hébergée pour l'entreprise.
Motif de la recommandation :Hugging Face détaille une solution d'assistant code auto-hébergée pour l'entreprise, avec les contraintes de conformité et le choix des modèles open source.
Hugging Face publie IDEFICS, un modèle visuel-langage ouvert reproduisant Flamingo de DeepMind.
Motif de la recommandation :Présentation de la reproduction ouverte d'un modèle visuel-langage fermé, avec données, variantes et licence détaillées.
Hugging Face Hub est désormais disponible sur AWS Marketplace.
BentoML, plateforme open source de serving de modèles ML, permet de déployer DeepFloyd IF.