Introduction aux modèles d'embedding Matryoshka
Hugging Face présente les modèles d'embedding Matryoshka, qui produisent des embeddings utiles à plusieurs dimensions (par exemple 768.
Hugging Face présente les modèles d'embedding Matryoshka, qui produisent des embeddings utiles à plusieurs dimensions (par exemple 768.
Hugging Face détaille le fine-tuning PEFT des modèles Gemma de Google DeepMind (2B et 7B.
L'auteur a implémenté un tranchage en motif de briques dans Simplify3D en décalant d'une demi-hauteur de couche les périmètres alternés.
Motif de la recommandation :L'auteur teste une méthode de tranchage en briques couches par couches et mesure un gain d'adhérence de 14% en PLA et 10% en PETG.
CNC Kitchen explique que les cubes de calibration de 20 mm sont inadaptés pour régler les steps/mm.
Motif de la recommandation :L'auteur compare les limites des cubes de calibration et la méthode CaliFlower, avec des mesures concrètes sur plusieurs imprimantes.
Hugging Face détaille une méthode pour créer des données synthétiques avec le LLM open source Mixtral-8x7B-Instruct-v0.1 afin d'entraîner un petit modèle spécialisé.
Motif de la recommandation :Un cas concret de distillation par données synthétiques avec coûts, latence et émissions comparés à GPT-4, et des notebooks réutilisables.
Hugging Face publie un guide pratique d'utilisation de PatchTST.
Hugging Face détaille plus de 7x d'accélération de l'inférence du modèle StarCoder-15B sur les processeurs Intel Xeon de 4e génération.
Hugging Face présente comment construire des agents ReAct avec des LLM open source via la classe ChatHuggingFace intégrée à LangChain.
Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.
Hugging Face détaille le fine-tuning de Wav2Vec2-BERT (checkpoint facebook/w2v-bert-2.0.
IBM Research et HuggingFace publient PatchTSMixer dans la bibliothèque Transformers.
Hugging Face publie un tutoriel pas à pas pour convertir un workflow ComfyUI en application Gradio et la déployer gratuitement sur Hugging Face Spaces via ZeroGPU. Le processus passe par l'extension ComfyUI-to-Python-Extension pour exporter le workflow en script Python, puis par la création d'une interface Gradio exposant prompt, image de structure, image de style et forces associées. Les modèles sont téléchargés depuis le Hub via hf_hub_download et préchargés hors de la fonction décorée par @spaces.GPU pour tirer parti du serverless. L'auteur indique qu'une automatisation complète du processus est prévue début 2025.
Motif de la recommandation :Un guide pas à pas pour transformer un workflow ComfyUI en application Gradio et l'héberger gratuitement sur ZeroGPU.
Vectara a mis en ligne le HHEM Leaderboard, un classement open source dédié à la mesure de la fréquence d'hallucination des LLM.
Unsloth, une bibliothèque légère développée par la communauté, accélère le fine-tuning des LLM jusqu'à 2x et réduit l'usage de mémoire jusqu'à 74% sans dégradation de précision.
Motif de la recommandation :L'article détaille les gains de vitesse et de mémoire d'Unsloth pour le fine-tuning, avec des benchmarks reproductibles et un exemple d'intégration à TRL.
Hugging Face publie un guide communautaire sur les pratiques SOTA de fine-tuning Dreambooth LoRA pour SDXL.
Motif de la recommandation :Le guide détaille les techniques SOTA de fine-tuning LoRA pour SDXL et fournit un script diffusers directement réutilisable.
Le blog Hugging Face montre comment le décodage spéculatif, implémenté comme stratégie « assisted generation » dans Transformers.
Motif de la recommandation :L'article détaille l'implémentation du décodage spéculatif dans Transformers avec des benchmarks reproductibles, permettant de réduire de moitié le temps d'inférence de Whisper sans perte de précision.
Hugging Face publie une explication des Mixture of Experts (MoE), architecture mise en avant par la sortie de Mixtral 8x7B. L'article décrit les deux composants d'une couche MoE.
Motif de la recommandation :L'article détaille les briques, l'entraînement et les compromis de service des MoE, utile pour comprendre l'architecture derrière Mixtral 8x7B.
Hugging Face compare RoBERTa-large (355M paramètres), Llama-2-7b et Mistral-7B-v0.1 sur la classification de tweets de catastrophes.
Hugging Face permet désormais de déployer Llama 2 pour la génération de texte sur AWS Inferentia2 via optimum-neuron.
Hugging Face présente HugCoder, un LLM de code fine-tuné sur les dépôts publics de l'organisation Hugging Face.
Motif de la recommandation :L'article détaille le workflow complet de collecte de données, de fine-tuning QLoRA et de déploiement local d'un copilote de code, avec des scripts et des configurations réutilisables.
Renumics Spotlight permet de visualiser interactivement les datasets Hugging Face avec une seule ligne de code.
Le blog Hugging Face présente des techniques d'optimisation de Stable Diffusion XL pour réduire la consommation mémoire et accélérer l'inférence.
Hugging Face détaille le déploiement de modèles d'embedding open source sur Inference Endpoints via Text Embeddings Inference (TEI).
Hugging Face publie une reproduction du codebase RLHF original d'OpenAI (openai/lm-human-preferences) et détaille les détails d'implémentation nécessaires pour reproduire ses courbes d'apprentissage sur des tâches stylistiques. Le codebase de reproduction (https://github.com/vwxyzjn/lm-human-preference-details) atteint des courbes quasi identiques à celles d'OpenAI, avec un espace de démonstration et les logs d'entraînement disponibles. L'article identifie une différence entre l'optimiseur Adam de PyTorch et celui de TensorFlow : PyTorch utilise un terme de normalisation plus petit en début d'entraînement, ce qui provoque des mises à jour de gradient plus agressives et affecte davantage les grands modèles comme gpt2-xl.
CNC Kitchen a testé sur une QIDI X-Max 3 l'adhésion entre couches de l'ABS eSUN et du Prusament PCBlend sous trois conditions de chambre.
Motif de la recommandation :Des essais de traction contrôlés quantifient l'effet de la température de chambre sur l'adhésion entre couches de l'ABS et du PCBlend.
Hugging Face explique comment dupliquer et configurer le Space AI Comic Factory pour le déployer sur son propre compte via l'Inference API.
Le blog Hugging Face présente DDPOTrainer, un nouvel outil de la bibliothèque TRL permettant de fine-tuner des modèles de diffusion comme Stable Diffusion par apprentissage par renforcement. DDPO modélise le processus de débruitage comme un processus de décision markovien et utilise PPO pour optimiser une fonction de récompense, par exemple un prédicteur esthétique entraîné sur le jeu de données AVA. L'article détaille l'installation (pip install trl[diffusers]), le script d'exemple ddpo.py, les hyperparamètres recommandés pour un entraînement sur GPU unique (200 époques, train_batch_size 3, learning rate 3e-4) et les limites actuelles, notamment la restriction aux modèles SD vanilla et la difficulté de trouver les bons hyperparamètres sans LoRA.
Motif de la recommandation :L'article détaille l'intégration de DDPO dans la bibliothèque TRL et fournit les hyperparamètres recommandés pour le fine-tuning de Stable Diffusion.
Hugging Face publie un tutoriel permettant à des non-ingénieurs d'entraîner et déployer un chatbot LLaMA 2 sans écrire une seule ligne de code.
Hugging Face a mis en ligne un Object Detection Leaderboard qui classe les modèles de détection d'objets disponibles sur le Hub selon plusieurs métriques. Le classement s'appuie sur l'IoU.
Le 3D Gaussian Splatting est une technique de rastérisation décrite dans l'article 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
Motif de la recommandation :Décompose le principe, l'entraînement et les limites du 3D Gaussian Splatting, avec des repères concrets sur le VRAM et les visionneuses existantes.
Hugging Face détaille les techniques d'optimisation pour déployer des LLM en production.
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB.
Motif de la recommandation :Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Hugging Face détaille les deux schémas de quantification nativement intégrés à Transformers.
Le blog Hugging Face montre comment utiliser AudioLDM 2 dans la bibliothèque Diffusers avec quatre optimisations cumulables.
BentoML, plateforme open source de serving de modèles ML, permet de déployer DeepFloyd IF.
Hugging Face montre comment accélérer Bark, le modèle TTS de Suno AI disponible dans Transformers depuis la v4.31.0.
Hugging Face présente l'implémentation de la méthode Direct Preference Optimization (DPO) dans la bibliothèque TRL et montre comment fine-tuner le modèle Llama 2 7B sur le jeu de données de préférences Stack Exchange. DPO remplace l'étape de modélisation de récompense et l'optimisation RL de RLHF par un objectif de vraisemblance directe optimisé via une simple perte d'entropie croisée binaire, en s'appuyant sur une correspondance analytique entre la fonction de récompense et la politique RL optimale. Le tutoriel détaille le pipeline complet : SFT avec QLoRA sur Llama 2 7B, préparation des données de préférence au format prompt/chosen/rejected, puis entraînement avec DPOTrainer en configurant le paramètre beta (0,1 à 0,5). Le code source des scripts d'entraînement est disponible dans le répertoire examples/stack_llama_2 et le modèle entraîné est publié sur le Hub Hugging Face.
Motif de la recommandation :Le tutoriel détaille l'implémentation de DPO dans TRL et le fine-tuning de Llama 2, avec le code et les métriques de suivi.
Hugging Face explique comment déployer MusicGen, le modèle de génération musicale texte-vers-audio.
Zama démontre qu'il est possible d'exécuter une partie de l'inférence d'un LLM sur des données chiffrées grâce au chiffrement homomorphe complet (FHE).
Ce tutoriel détaille un workflow de génération d'assets 3D assisté par IA, du texte à l'intégration dans Unity.
Hugging Face présente son écosystème open source pour la génération de texte et les LLM.