Hugging Face annonce Gradio 3.0, une refonte complète de la bibliothèque de démos ML.
Motif de la recommandation :L'annonce détaille la refonte du frontend et la nouvelle API Blocks, ce qui permet de juger comment construire des démos plus flexibles en Python.
Hugging Face ajoute le support de l'inférence et des pipelines Transformers à Optimum avec la version 1.2.
Hugging Face annonce l'intégration de fastai au Hugging Face Hub.
Hugging Face montre comment entraîner de grands modèles via Accelerate en exploitant PyTorch FullyShardedDataParallel (FSDP).
Hugging Face et Habana Labs ont publié un guide pratique pour fine-tuner des modèles Transformers sur les accélérateurs Habana Gaudi via des instances Amazon EC2 DL1. Le tutoriel détaille le lancement d'une instance dl1.24xlarge équipée de 8 processeurs Gaudi, l'utilisation de l'AMI Habana Deep Learning et du conteneur PyTorch, puis le fine-tuning de bert-large-uncased-whole-word-masking sur la tâche MRPC du benchmark GLUE avec Optimum Habana. Le job atteint un score F1 de 0.8968 en 2 minutes et 12 secondes, pour un coût de $3.93 par heure en Spot Instance contre $13.11 en tarif standard, soit 70% d'économie.
Hugging Face montre comment automatiser le filtrage des messages clients mécontents en modélisant le problème comme une classification de texte à 5 classes (very unsatisfied à very satisfied). Le dataset Amazon reviews multi est retenu pour ses labels de sentiment de 1 à 5 étoiles, jugé plus adapté que GLUE, Amazon polarity ou Tweet eval. L'approche vise à répondre à 100 % des messages des clients les plus insatisfaits, supposés minoritaires parmi l'ensemble des retours.
Hugging Face ajoute à sa bibliothèque huggingface_hub un paramètre emissions_threshold permettant de filtrer les modèles du Hub selon les émissions de CO2 générées lors de leur entraînement. L'intégration de codecarbon dans transformers enregistre automatiquement ces émissions via CodeCarbonCallback et les consigne dans un fichier emissions.csv, que l'utilisateur peut reporter dans la fiche du modèle. Une recherche avec un seuil maximal de 100 grammes renvoie 191 modèles, tandis qu'un seuil minimal de 500 grammes n'en retourne que 10.
Hugging Face explique que sa bibliothèque Transformers applique volontairement une « single model file policy » plutôt que le principe DRY.
Hugging Face et AWS proposent un tutoriel de bout en bout pour accélérer l'inférence de BERT en texte avec Transformers.
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
Hugging Face détaille le fine-tuning du Vision Transformer (ViT) pour la classification d'images via les bibliothèques 🤗 datasets et transformers. Le tutoriel s'appuie sur le modèle google/vit-base-patch16-224-in21k et le jeu de données beans (3 classes : angular_leaf_spot, bean_rust, healthy), en utilisant ViTImageProcessor pour redimensionner les images en 224×224 et les normaliser avec mean/std de 0,5. L'installation se fait via `pip install datasets transformers`.
Hugging Face publie un guide de démarrage de l'analyse de sentiment en Python.
Hugging Face a publié une étude de cas montrant que son conteneur Infinity, optimisé pour les processeurs Intel Xeon Ice Lake de 3e génération sur les instances Amazon EC2 C6i.
🤗 Transformers intègre désormais pyctcdecode de Kensho Technologies.
Hugging Face explique comment déployer GPT-J 6B, le modèle open source de 6 milliards de paramètres d'EleutherAI.
Hugging Face détaille l'entraînement depuis zéro de CodeParrot, un modèle GPT-2 de 1.
Motif de la recommandation :Décrit pas à pas la construction d'un jeu de données, d'un tokenizer et d'une boucle d'entraînement multi-GPU pour un modèle de génération de code.
Intel détaille comment accélérer le fine-tuning distribué de PyTorch sur des clusters de serveurs Intel Xeon Scalable (architecture Ice Lake) via l'Intel extension for PyTorch et oneCCL. Le tutoriel fine-tune un modèle BERT sur le dataset MRPC (5 800 paires de phrases du benchmark GLUE), en comparant un job sur un seul serveur puis sur 2 et 4 serveurs pour mesurer le speed-up. Les instances utilisées sont des Amazon EC2 c6i.16xlarge (64 vCPUs, 128 Go de RAM, réseau 25 Gbit/s), avec des équivalents disponibles chez Azure et Google Cloud.
Intel détaille les optimisations logicielles oneAPI pour accélérer l'inférence des modèles de type BERT sur les CPU Xeon Ice Lake.
Microsoft et NVIDIA ont présenté Megatron-Turing NLG 530B.
Le rapport State of AI 2021 et l'enquête Kaggle ML & Data Science confirment que l'architecture Transformer s'impose comme architecture générale du Machine Learning.
Hugging Face explique comment héberger modèles et datasets et servir des applications Streamlit dans Hugging Face Spaces.
Hugging Face intègre Gradio au Hub pour permettre de démontrer un modèle en quelques lignes de code via l'Inference API.
Hugging Face annonce la sortie d'Optimum, une bibliothèque open source dédiée à l'optimisation des performances des Transformers en production. Elle vise à abstraire la complexité de l'accélération matérielle, en commençant par la quantification des modèles pour les CPU Intel Xeon via Intel Neural Compressor. Optimum s'appuie sur un programme de partenaires matériels et prévoit de publier des configurations et artefacts de modèles optimisés sur le Hugging Face Model Hub.
Motif de la recommandation :Hugging Face présente Optimum, une bibliothèque open source qui simplifie la quantification et l'accélération des Transformers sur du matériel dédié, avec Intel comme premier partenaire.
Hugging Face et Graphcore annoncent un partenariat intégrant les systèmes IPU de Graphcore au Hardware Partner Program de Hugging Face.
Hugging Face et Amazon publient les Hugging Face Inference DLCs.
Gradio 2.0 permet de charger et d'utiliser presque n'importe quel modèle Hugging Face avec une interface graphique en une seule ligne de code.
Motif de la recommandation :Gradio 2.0 permet de charger et combiner des modèles Hugging Face en une ligne, avec un exemple de traduction et résumé en trois lignes.
Hugging Face publie la première partie d'une série sur l'optimisation matérielle de l'inférence BERT sur CPU.
Hugging Face présente Accelerate, une bibliothèque qui permet d'exécuter un script d'entraînement PyTorch brut sur n'importe quel type de dispositif distribué (multi-GPU sur un ou plusieurs nœuds, TPU) et avec ou sans précision mixte, en ajoutant cinq lignes de code. Elle fournit une API unifiée qui abstrait le code répétitif et une commande de lancement pour exécuter les scripts sur différentes configurations. Les plans futurs incluent le support de fairscale, deepseed, ainsi que du parallélisme de données et de modèle spécifique à AWS SageMaker. L'installation se fait via pip install accelerate.
Motif de la recommandation :L'article détaille les cinq lignes à ajouter à un script PyTorch pour exécuter l'entraînement distribué et la précision mixte, avec le lanceur CLI et la configuration.
Hugging Face et Amazon SageMaker proposent des Deep Learning Containers optimisés pour 🤗 Transformers.
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face et Amazon annoncent un partenariat stratégique faisant d'AWS le fournisseur cloud préféré de Hugging Face.
Un membre de la communauté Hugging Face déploie un pipeline d'analyse de sentiment Transformers en serverless sur Google Cloud Run.
Hugging Face détaille le fine-tuning de Wav2Vec2, modèle de reconnaissance automatique de la parole pré-entraîné sur plus de 50 000 heures d'audio non étiqueté.
Hugging Face publie un guide pratique sur la construction et le débogage de réseaux de neurones.
Huggingface Transformers a intégré Ray dans le mécanisme de récupération de documents contextuels du modèle RAG.
Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Hugging Face a accéléré l'inférence Transformer d'un facteur 100 pour les abonnés de son Accelerated Inference API.
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Le système de traduction fairseq wmt19 de Facebook FAIR a été porté vers la bibliothèque transformers de Hugging Face.