Proximal Policy Optimization (PPO) : théorie et implémentation PyTorch
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
#Recherche
Hugging Face BlogAI Score2222
Hugging Face BlogAI Score2222 Nyströmformer : approximer l'auto-attention en temps et mémoire linéaires via la méthode de Nyström
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
Hugging Face BlogAI Score2020 A2C (Advantage Actor Critic) : l'algorithme hybride qui stabilise l'apprentissage par renforcement
Le cours de Deep Reinforcement Learning de Hugging Face consacre son unité 7 à l'algorithme Advantage Actor Critic (A2C).
Hugging Face BlogAI Score2222 Hugging Face : construire un générateur de playlists avec Sentence Transformers
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
Hugging Face BlogAI Score1212 Policy Gradient avec PyTorch : mise en œuvre de Reinforce
Hugging Face publie l'unité 5 de son cours gratuit de Deep Reinforcement Learning.
Hugging Face BlogsélectionAI Score6262 Le modèle de diffusion annoté : implémentation pas à pas du DDPM en PyTorch
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Hugging Face BlogAI Score2222 Deep Q-Learning avec Space Invaders : du Q-Learning tabulaire au DQN
Le cours de Deep Reinforcement Learning de Hugging Face consacre sa troisième unité à Deep Q-Learning.
Hugging Face BlogAI Score3030 TAPEX : pré-entraînement efficace de tables sans données réelles
Microsoft présente TAPEX, une méthode de pré-entraînement de tables qui apprend un exécuteur SQL neuronal sur un corpus synthétique généré en échantillonnant des requêtes SQL exécutables et leurs résultats, sans recourir à des données réelles. Intégré à Transformers 4.19.0, TAPEX atteint de nouveaux résultats SOTA sur quatre benchmarks : 89,6 % sur WikiSQL (+2,3 %), 84,2 % sur TabFact (+3,2 %), 74,5 % sur SQA (+3,5 %) et 57,5 % sur WikiTableQuestions (+4,8 %).
Hugging Face BlogAI Score1818 Introduction au Q-Learning Partie 2/2
Hugging Face publie la deuxième partie de son cours sur le Deep Reinforcement Learning consacrée au Q-Learning.
Hugging Face BlogAI Score2222 Introduction au Q-Learning, partie 1 : méthodes basées sur la valeur et différence entre Monte Carlo et Temporal Difference
Hugging Face publie la première partie de l'unité 2 de son cours gratuit de Deep Reinforcement Learning consacrée au Q-Learning. Ce chapitre couvre les méthodes basées sur la valeur.
Hugging Face BlogAI Score2222 Introduction au Deep Reinforcement Learning — chapitre 1 du cours Hugging Face
Hugging Face publie le premier chapitre de son cours gratuit Deep Reinforcement Learning.
Hugging Face BlogAI Score3838 Hugging Face intègre Decision Transformer dans la bibliothèque transformers
Hugging Face annonce l'intégration du Decision Transformer, une méthode d'apprentissage par renforcement hors ligne.
Hugging Face BlogAI Score2020 Margaret Mitchell, experte en ML : de Seeing AI à l'éthique de l'IA chez Hugging Face
Margaret Mitchell, fondatrice et co-responsable du groupe Ethical AI de Google, a rejoint Hugging Face après quatre ans chez Google pour y créer des protocoles de recherche en IA éthique.
Hugging Face BlogAI Score1515 Hugging Face annonce le lancement du AI Research Residency Program
Hugging Face lance le AI Research Residency Program, un programme de 9 mois à temps plein destiné à lancer ou accélérer une carrière en recherche en machine learning.
Hugging Face BlogAI Score2222 Fine-tuner un modèle de segmentation sémantique SegFormer avec un dataset personnalisé
Ce guide montre comment fine-tuner SegFormer, un modèle de segmentation sémantique SOTA introduit par Xie et al. en 2021.
Hugging Face BlogAI Score2020 BERT 101 : le modèle NLP de pointe expliqué
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
Hugging Face BlogAI Score2222 huggingface_hub : recherche programmatique simplifiée sur le Hub
La bibliothèque huggingface_hub introduit les classes ModelSearchArguments.
Hugging Face BlogsélectionAI Score6060 Hugging Face Transformers intègre Perceiver IO, un modèle Transformer pour toutes les modalités
Hugging Face a ajouté Perceiver IO à sa bibliothèque Transformers, un modèle Transformer capable de traiter texte.
Motif de la recommandation :Présente l'implémentation de Perceiver IO dans Transformers et détaille le traitement de texte, image, flux optique et autoencodage multimodal.
Hugging Face BlogsélectionAI Score6060 Hugging Face entraîne des modèles d'embedding de phrases avec 1 milliard de paires
Hugging Face a entraîné 20 modèles Sentence Transformers à usage général, dont Mini-LM.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
Hugging Face BlogAI Score2222 Hugging Face fine-tune CLIP avec des images satellite et légendes
Une équipe distribuée sur 12 fuseaux horaires a fine-tuné le réseau CLIP d'OpenAI avec des images satellite et légendes issues des datasets RSICD.
Hugging Face BlogAI Score2222 Comprendre l'attention block sparse de BigBird
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face BlogAI Score2222 Hugging Face Reads février 2021 : les Transformers à longue portée
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face BlogAI Score2222 Exploiter les checkpoints de modèles de langage pré-entraînés pour les modèles encodeur-décodeur
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Hugging Face BlogAI Score5252 Le Reformer comment entraîner sur un demi-million de tokens avec moins de 8 Go de RAM
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.