Hugging Face : construire un générateur de playlists avec Sentence Transformers
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
#tutoriel/pratique
Hugging Face BlogAI Score2222
Hugging Face BlogAI Score2222 Hugging Face : guide de démarrage de l'analyse de sentiment sur Twitter
Hugging Face publie un guide pratique pour réaliser une analyse de sentiment sur Twitter.
Hugging Face BlogAI Score1212 Policy Gradient avec PyTorch : mise en œuvre de Reinforce
Hugging Face publie l'unité 5 de son cours gratuit de Deep Reinforcement Learning.
Hugging Face BlogAI Score1717 Liftoff! Comment démarrer votre premier projet ML 🚀
Hugging Face publie un guide pour débutants qui utilise Sentence Transformers (ST) comme exemple pour passer de zéro à un premier projet ML autonome. ST transforme des phrases en embeddings vectoriels et fournit la fonction util.cos_sim pour calculer la similarité cosinus (score de -1 à 1), avec le modèle msmarco-MiniLM-L-6-v3 chargé dans un Jupyter notebook. La bibliothèque compte près de 8 000 étoiles sur GitHub et plus de 3 000 projets et packages qui en dépendent, et sert à la recherche sémantique, au clustering, à la distillation de modèles ou à CLIP.
Hugging Face BlogAI Score3838 Accelerate : entraîner de grands modèles avec DeepSpeed ZeRO
Hugging Face montre comment entraîner de grands modèles avec la bibliothèque Accelerate en exploitant les fonctionnalités ZeRO de DeepSpeed sans modifier le code. Sur 2 GPU NVIDIA Titan RTX 24 Go, le fine-tuning de microsoft/deberta-v2-xlarge-mnli (900M paramètres) sur MRPC atteint une taille de batch de 40 contre 8 pour DDP, soit 5X plus de données par GPU et environ 3.5X d'accélération de l'entraînement (28.98 s contre 103.57 s par époque), sans baisse du F1 (0.936) ni de l'accuracy (0.912). Un fichier de configuration DeepSpeed permet d'ajuster davantage d'options, illustré par le fine-tuning de facebook/blenderbot-400M-distill sur le dataset MuDoConv.
Hugging Face BlogAI Score2222 Hugging Face : démarrer avec les embeddings
Hugging Face publie un tutoriel pour créer un moteur de FAQ en embeddant un jeu de données avec la Hugging Face Inference API et le modèle open source sentence-transformers/all-MiniLM-L6-v2. Les embeddings, vecteurs de 384 nombres capturant le sens sémantique de textes ou d'images, permettent de comparer une requête utilisateur aux questions du jeu de données pour identifier la FAQ la plus proche. Le tutoriel détaille l'embedding des FAQ Medicare, leur hébergement gratuit sur le Hub et la comparaison sémantique des requêtes.
Hugging Face BlogAI Score3838 Convertir des Transformers en ONNX avec Hugging Face Optimum
Hugging Face Optimum permet de convertir un modèle Transformers en ONNX via ORTModelForSequenceClassification et from_transformers=True.
Hugging Face BlogsélectionAI Score6262 Le modèle de diffusion annoté : implémentation pas à pas du DDPM en PyTorch
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Hugging Face BlogAI Score2222 Deep Q-Learning avec Space Invaders : du Q-Learning tabulaire au DQN
Le cours de Deep Reinforcement Learning de Hugging Face consacre sa troisième unité à Deep Q-Learning.
Hugging Face BlogAI Score1818 Introduction au Q-Learning Partie 2/2
Hugging Face publie la deuxième partie de son cours sur le Deep Reinforcement Learning consacrée au Q-Learning.
Hugging Face BlogAI Score2222 Introduction au Q-Learning, partie 1 : méthodes basées sur la valeur et différence entre Monte Carlo et Temporal Difference
Hugging Face publie la première partie de l'unité 2 de son cours gratuit de Deep Reinforcement Learning consacrée au Q-Learning. Ce chapitre couvre les méthodes basées sur la valeur.
Hugging Face BlogAI Score2222 Introduction au Deep Reinforcement Learning — chapitre 1 du cours Hugging Face
Hugging Face publie le premier chapitre de son cours gratuit Deep Reinforcement Learning.
Hugging Face BlogAI Score4040 Accelerate : entraîner de grands modèles avec PyTorch FullyShardedDataParallel
Hugging Face montre comment entraîner de grands modèles via Accelerate en exploitant PyTorch FullyShardedDataParallel (FSDP).
Hugging Face BlogAI Score2222 Classification d'opinions avec Kili et HuggingFace AutoTrain
HuggingFace AutoTrain et Kili permettent de construire un pipeline d'active learning pour la classification de texte.
Hugging Face BlogAI Score2222 Guide de démarrage avec Transformers sur Habana Gaudi
Hugging Face et Habana Labs ont publié un guide pratique pour fine-tuner des modèles Transformers sur les accélérateurs Habana Gaudi via des instances Amazon EC2 DL1. Le tutoriel détaille le lancement d'une instance dl1.24xlarge équipée de 8 processeurs Gaudi, l'utilisation de l'AMI Habana Deep Learning et du conteneur PyTorch, puis le fine-tuning de bert-large-uncased-whole-word-masking sur la tâche MRPC du benchmark GLUE avec Optimum Habana. Le job atteint un score F1 de 0.8968 en 2 minutes et 12 secondes, pour un coût de $3.93 par heure en Spot Instance contre $13.11 en tarif standard, soit 70% d'économie.
Hugging Face BlogAI Score2020 Service client boosté par le machine learning avec l'écosystème Hugging Face
Hugging Face montre comment automatiser le filtrage des messages clients mécontents en modélisant le problème comme une classification de texte à 5 classes (very unsatisfied à very satisfied). Le dataset Amazon reviews multi est retenu pour ses labels de sentiment de 1 à 5 étoiles, jugé plus adapté que GLUE, Amazon polarity ou Tweet eval. L'approche vise à répondre à 100 % des messages des clients les plus insatisfaits, supposés minoritaires parmi l'ensemble des retours.
Hugging Face BlogAI Score2222 Hugging Face Hub : suivi et recherche des émissions de CO2 des modèles
Hugging Face ajoute à sa bibliothèque huggingface_hub un paramètre emissions_threshold permettant de filtrer les modèles du Hub selon les émissions de CO2 générées lors de leur entraînement. L'intégration de codecarbon dans transformers enregistre automatiquement ces émissions via CodeCarbonCallback et les consigne dans un fichier emissions.csv, que l'utilisateur peut reporter dans la fiche du modèle. Une recherche avec un seuil maximal de 100 grammes renvoie 191 modèles, tandis qu'un seuil minimal de 500 grammes n'en retourne que 10.
Hugging Face BlogAI Score2222 Fine-tuner un modèle de segmentation sémantique SegFormer avec un dataset personnalisé
Ce guide montre comment fine-tuner SegFormer, un modèle de segmentation sémantique SOTA introduit par Xie et al. en 2021.
Hugging Face BlogAI Score2222 Accélérer l'inférence BERT avec Hugging Face Transformers et AWS Inferentia
Hugging Face et AWS proposent un tutoriel de bout en bout pour accélérer l'inférence de BERT en texte avec Transformers.
Hugging Face BlogAI Score2222 Recherche d'images avec 🤗 datasets
Hugging Face montre comment construire une application de recherche d'images en combinant la bibliothèque datasets.
Hugging Face BlogAI Score2020 BERT 101 : le modèle NLP de pointe expliqué
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
Hugging Face BlogAI Score2222 Fine-tuner ViT pour la classification d'images avec 🤗 Transformers
Hugging Face détaille le fine-tuning du Vision Transformer (ViT) pour la classification d'images via les bibliothèques 🤗 datasets et transformers. Le tutoriel s'appuie sur le modèle google/vit-base-patch16-224-in21k et le jeu de données beans (3 classes : angular_leaf_spot, bean_rust, healthy), en utilisant ViTImageProcessor pour redimensionner les images en 224×224 et les normaliser avec mean/std de 0,5. L'installation se fait via `pip install datasets transformers`.
Hugging Face BlogAI Score2222 Guide de démarrage de l'analyse de sentiment avec Python
Hugging Face publie un guide de démarrage de l'analyse de sentiment en Python.
Hugging Face BlogsélectionAI Score6262 Faire fonctionner la reconnaissance vocale sur de grands fichiers avec Wav2Vec2 dans Transformers
Hugging Face explique comment utiliser les spécificités de l'architecture CTC pour obtenir une reconnaissance vocale de bonne qualité sur des fichiers arbitrairement longs ou en inférence en direct avec Wav2Vec2. Le pipeline Transformers plante par manque de mémoire sur un fichier d'une heure, mais l'ajout de chunk_length_s=10 permet de traiter le fichier. La technique du chunking avec stride, qui exploite la correspondance CTC entre trames audio et prédictions de lettres, découpe l'audio en segments chevauchants, supprime les logits des bords et enchaîne les résultats pour se rapprocher de l'inférence sur le fichier complet. Elle fonctionne aussi sans modification sur les modèles Wav2Vec2 augmentés d'un LM, et peut être adaptée à l'inférence en direct en alimentant le pipeline au fil de l'arrivée des données.
Motif de la recommandation :L'article détaille le chunking avec stride pour Wav2Vec2, une méthode directement réutilisable pour l'ASR sur fichiers longs et en direct.
Hugging Face BlogAI Score2222 huggingface_hub : recherche programmatique simplifiée sur le Hub
La bibliothèque huggingface_hub introduit les classes ModelSearchArguments.
Hugging Face BlogAI Score3636 Améliorer Wav2Vec2 avec des n-grammes dans 🤗 Transformers
🤗 Transformers intègre désormais pyctcdecode de Kensho Technologies.
Hugging Face BlogAI Score3838 Déployer GPT-J 6B pour l'inférence avec Hugging Face Transformers et Amazon SageMaker
Hugging Face explique comment déployer GPT-J 6B, le modèle open source de 6 milliards de paramètres d'EleutherAI.
Hugging Face BlogAI Score2222 AutoNLP et Prodigy pour l'apprentissage actif
Hugging Face explique comment combiner AutoNLP et Prodigy pour construire un pipeline d'apprentissage actif. AutoNLP.
Hugging Face BlogsélectionAI Score6262 Entraîner CodeParrot depuis zéro : guide complet de génération de code
Hugging Face détaille l'entraînement depuis zéro de CodeParrot, un modèle GPT-2 de 1.
Motif de la recommandation :Décrit pas à pas la construction d'un jeu de données, d'un tokenizer et d'une boucle d'entraînement multi-GPU pour un modèle de génération de code.
Hugging Face BlogAI Score2222 Accélérer le fine-tuning distribué PyTorch avec les technologies Intel
Intel détaille comment accélérer le fine-tuning distribué de PyTorch sur des clusters de serveurs Intel Xeon Scalable (architecture Ice Lake) via l'Intel extension for PyTorch et oneCCL. Le tutoriel fine-tune un modèle BERT sur le dataset MRPC (5 800 paires de phrases du benchmark GLUE), en comparant un job sur un seul serveur puis sur 2 et 4 serveurs pour mesurer le speed-up. Les instances utilisées sont des Amazon EC2 c6i.16xlarge (64 vCPUs, 128 Go de RAM, réseau 25 Gbit/s), avec des équivalents disponibles chez Azure et Google Cloud.
Hugging Face BlogAI Score2222 Fine-tuner XLSR-Wav2Vec2 pour l'ASR à faibles ressources avec 🤗 Transformers
Hugging Face détaille le fine-tuning de Wav2Vec2-XLS-R-300M, le successeur de XLSR publié en novembre 2021.
Hugging Face BlogAI Score2222 Optimiser l'inférence des modèles de type BERT sur CPU moderne avec Intel — Partie 2
Intel détaille les optimisations logicielles oneAPI pour accélérer l'inférence des modèles de type BERT sur les CPU Xeon Ice Lake.
Hugging Face BlogAI Score2222 Héberger modèles et datasets sur Hugging Face Spaces avec Streamlit
Hugging Face explique comment héberger modèles et datasets et servir des applications Streamlit dans Hugging Face Spaces.
Hugging Face BlogAI Score2222 Utiliser Gradio pour présenter vos projets dans Spaces
Hugging Face intègre Gradio au Hub pour permettre de démontrer un modèle en quelques lignes de code via l'Inference API.
Hugging Face BlogAI Score2222 GPT-Neo et l'API Accelerated Inference : la pratique du few-shot learning
Hugging Face explique comment utiliser GPT-Neo d'EleutherAI avec l'API Accelerated Inference pour générer des prédictions en few-shot learning. GPT-Neo (2.7B).
Hugging Face BlogAI Score2222 BERT inférence sur CPU : comment passer à l'échelle (partie 1)
Hugging Face publie la première partie d'une série sur l'optimisation matérielle de l'inférence BERT sur CPU.
Hugging Face BlogAI Score2222 Formation distribuée : fine-tuner BART/T5 pour le résumé avec 🤗 Transformers et Amazon SageMaker
Hugging Face et Amazon SageMaker proposent des Deep Learning Containers optimisés pour 🤗 Transformers.
Hugging Face BlogAI Score2222 Comprendre l'attention block sparse de BigBird
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face BlogAI Score1717 Mon parcours vers un pipeline Transformers serverless sur Google Cloud
Un membre de la communauté Hugging Face déploie un pipeline d'analyse de sentiment Transformers en serverless sur Google Cloud Run.
Hugging Face BlogAI Score2222 Fine-tuner Wav2Vec2 pour l'ASR en anglais avec 🤗 Transformers
Hugging Face détaille le fine-tuning de Wav2Vec2, modèle de reconnaissance automatique de la parole pré-entraîné sur plus de 50 000 heures d'audio non étiqueté.