Les grands modèles de langage : une nouvelle loi de Moore ?
Microsoft et NVIDIA ont présenté Megatron-Turing NLG 530B.
#Hugging Face
Hugging Face BlogAI Score2222 Hugging Face BlogAI Score1818 Hugging Face lance la partie 2 de son cours NLP avec un événement communautaire
Hugging Face publie le 15 novembre la partie 2 de son cours, consacrée aux tâches NLP courantes (classification de tokens.
Hugging Face BlogsélectionAI Score6060 Hugging Face entraîne des modèles d'embedding de phrases avec 1 milliard de paires
Hugging Face a entraîné 20 modèles Sentence Transformers à usage général, dont Mini-LM.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
Hugging Face BlogAI Score2222 L'ère du Machine Learning as Code est arrivée
Le rapport State of AI 2021 et l'enquête Kaggle ML & Data Science confirment que l'architecture Transformer s'impose comme architecture générale du Machine Learning.
Hugging Face BlogAI Score2222 Hugging Face fine-tune CLIP avec des images satellite et légendes
Une équipe distribuée sur 12 fuseaux horaires a fine-tuné le réseau CLIP d'OpenAI avec des images satellite et légendes issues des datasets RSICD.
Hugging Face BlogAI Score2222 Héberger modèles et datasets sur Hugging Face Spaces avec Streamlit
Hugging Face explique comment héberger modèles et datasets et servir des applications Streamlit dans Hugging Face Spaces.
Hugging Face BlogAI Score2222 Utiliser Gradio pour présenter vos projets dans Spaces
Hugging Face intègre Gradio au Hub pour permettre de démontrer un modèle en quelques lignes de code via l'Inference API.
Hugging Face BlogsélectionAI Score6262 Hugging Face lance Optimum, une boîte à outils d'optimisation pour les Transformers à grande échelle
Hugging Face annonce la sortie d'Optimum, une bibliothèque open source dédiée à l'optimisation des performances des Transformers en production. Elle vise à abstraire la complexité de l'accélération matérielle, en commençant par la quantification des modèles pour les CPU Intel Xeon via Intel Neural Compressor. Optimum s'appuie sur un programme de partenaires matériels et prévoit de publier des configurations et artefacts de modèles optimisés sur le Hugging Face Model Hub.
Motif de la recommandation :Hugging Face présente Optimum, une bibliothèque open source qui simplifie la quantification et l'accélération des Transformers sur du matériel dédié, avec Intel comme premier partenaire.
Hugging Face BlogAI Score2222 Hugging Face et Graphcore s'associent pour des Transformers optimisés pour l'IPU
Hugging Face et Graphcore annoncent un partenariat intégrant les systèmes IPU de Graphcore au Hardware Partner Program de Hugging Face.
Hugging Face BlogAI Score4242 spaCy rejoint le Hugging Face Hub
Hugging Face intègre spaCy au Hub, permettant de téléverser et partager des pipelines spaCy en une seule commande.
Hugging Face BlogAI Score3838 Déployer facilement les modèles Hugging Face avec Amazon SageMaker
Hugging Face et Amazon publient les Hugging Face Inference DLCs.
Hugging Face BlogAI Score4242 Sentence Transformers intégré au Hugging Face Hub
Hugging Face annonce l'intégration de Sentence Transformers au Hub avec la sortie de la v2.
Hugging Face BlogAI Score2222 GPT-Neo et l'API Accelerated Inference : la pratique du few-shot learning
Hugging Face explique comment utiliser GPT-Neo d'EleutherAI avec l'API Accelerated Inference pour générer des prédictions en few-shot learning. GPT-Neo (2.7B).
Hugging Face BlogsélectionAI Score6060 Gradio 2.0 : utiliser et combiner les modèles Hugging Face en une ligne de code
Gradio 2.0 permet de charger et d'utiliser presque n'importe quel modèle Hugging Face avec une interface graphique en une seule ligne de code.
Motif de la recommandation :Gradio 2.0 permet de charger et combiner des modèles Hugging Face en une ligne, avec un exemple de traduction et résumé en trois lignes.
Hugging Face BlogAI Score2222 BERT inférence sur CPU : comment passer à l'échelle (partie 1)
Hugging Face publie la première partie d'une série sur l'optimisation matérielle de l'inférence BERT sur CPU.
Hugging Face BlogsélectionAI Score6262 Hugging Face lance la bibliothèque Accelerate pour l'entraînement PyTorch distribué
Hugging Face présente Accelerate, une bibliothèque qui permet d'exécuter un script d'entraînement PyTorch brut sur n'importe quel type de dispositif distribué (multi-GPU sur un ou plusieurs nœuds, TPU) et avec ou sans précision mixte, en ajoutant cinq lignes de code. Elle fournit une API unifiée qui abstrait le code répétitif et une commande de lancement pour exécuter les scripts sur différentes configurations. Les plans futurs incluent le support de fairscale, deepseed, ainsi que du parallélisme de données et de modèle spécifique à AWS SageMaker. L'installation se fait via pip install accelerate.
Motif de la recommandation :L'article détaille les cinq lignes à ajouter à un script PyTorch pour exécuter l'entraînement distribué et la précision mixte, avec le lanceur CLI et la configuration.
Hugging Face BlogAI Score2222 Formation distribuée : fine-tuner BART/T5 pour le résumé avec 🤗 Transformers et Amazon SageMaker
Hugging Face et Amazon SageMaker proposent des Deep Learning Containers optimisés pour 🤗 Transformers.
Hugging Face BlogAI Score2222 Comprendre l'attention block sparse de BigBird
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face BlogAI Score5050 Hugging Face et Amazon SageMaker annoncent un partenariat stratégique
Hugging Face et Amazon annoncent un partenariat stratégique faisant d'AWS le fournisseur cloud préféré de Hugging Face.
Hugging Face BlogAI Score1717 Mon parcours vers un pipeline Transformers serverless sur Google Cloud
Un membre de la communauté Hugging Face déploie un pipeline d'analyse de sentiment Transformers en serverless sur Google Cloud Run.
Hugging Face BlogAI Score2222 Fine-tuner Wav2Vec2 pour l'ASR en anglais avec 🤗 Transformers
Hugging Face détaille le fine-tuning de Wav2Vec2, modèle de reconnaissance automatique de la parole pré-entraîné sur plus de 50 000 heures d'audio non étiqueté.
Hugging Face BlogAI Score2222 Hugging Face Reads février 2021 : les Transformers à longue portée
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face BlogAI Score2222 Hugging Face : considérations simples pour construire des réseaux de neurones
Hugging Face publie un guide pratique sur la construction et le débogage de réseaux de neurones.
Hugging Face BlogAI Score4040 RAG avec Huggingface Transformers et Ray : accélération 2x de la récupération de documents
Huggingface Transformers a intégré Ray dans le mécanisme de récupération de documents contextuels du modèle RAG.
Hugging Face BlogsélectionAI Score6060 Hugging Face sur PyTorch/XLA TPU : entraîner des Transformers sur Cloud TPU
Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Hugging Face BlogsélectionAI Score6262 Comment entraîner plus vite et plus gros avec ZeRO via DeepSpeed et FairScale
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Hugging Face BlogAI Score2222 Hugging Face comment accélérer l'inférence Transformer 100x pour les clients de l'API
Hugging Face a accéléré l'inférence Transformer d'un facteur 100 pour les abonnés de son Accelerated Inference API.
Hugging Face BlogAI Score2222 Exploiter les checkpoints de modèles de langage pré-entraînés pour les modèles encodeur-décodeur
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Hugging Face BlogAI Score3636 Portage du système de traduction fairseq wmt19 vers transformers
Le système de traduction fairseq wmt19 de Facebook FAIR a été porté vers la bibliothèque transformers de Hugging Face.
Hugging Face BlogAI Score5252 Hugging Face publie pytorch_block_sparse pour des modèles de langage plus petits et plus rapides
Hugging Face publie l'extension pytorch_block_sparse.
Hugging Face BlogAI Score5252 Le Reformer comment entraîner sur un demi-million de tokens avec moins de 8 Go de RAM
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.
Hugging Face BlogAI Score4242 Comment générer du texte : utiliser différentes méthodes de décodage pour la génération de langage avec Transformers
Le blog Hugging Face détaille les méthodes de décodage pour la génération de langage autorégressive avec la bibliothèque transformers.
Hugging Face BlogAI Score2828 Comment entraîner un nouveau modèle de langage from scratch avec Transformers et Tokenizers
Hugging Face détaille l'entraînement from scratch d'EsperBERTo, un modèle de 84M de paramètres (6 couches.