Red-Teaming des grands modèles de langage
Le red-teaming des LLM consiste à concevoir des prompts déclenchant des comportements nuisibles — divulgation d'informations personnelles.
#Recherche
Hugging Face BlogAI Score3636
Hugging Face BlogAI Score2222 Hugging Face : plongée dans les modèles vision-langage
Hugging Face consacre un article aux modèles conjoints vision-langage, qui traitent images et texte via un encodeur d'images.
Hugging Face BlogAI Score2222 Génération d'assets 3D : l'IA pour le développement de jeux #3
La génération d'assets 3D par texte (text-to-3D) n'est pas encore exploitable en production pour le développement de jeux.
Hugging Face BlogAI Score2020 Introduction au machine learning sur graphes
Hugging Face publie une introduction au machine learning sur graphes couvrant les fondamentaux.
Hugging Face BlogAI Score3636 Habana Gaudi2 vs Nvidia A100 80GB : entraînement et inférence plus rapides
Habana Gaudi2 est environ deux fois plus rapide que le Nvidia A100 80GB en entraînement et en inférence.
Hugging Face BlogAI Score2828 Deep Learning avec les protéines : du transfert learning aux modèles de langage protéiques
Hugging Face publie un article pédagogique « Deep Learning with Proteins » destiné aux biologistes et aux spécialistes du ML.
Hugging Face BlogAI Score4242 Hugging Face : prévision probabiliste de séries temporelles avec Transformers
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur.
Hugging Face BlogAI Score2222 Analyse de sentiment sur données chiffrées avec chiffrement homomorphe et Concrete-ML
Hugging Face détaille une méthode d'analyse de sentiment sur données chiffrées via la bibliothèque Concrete-ML et le chiffrement homomorphe (FHE).
Hugging Face BlogAI Score4040 Hugging Face Spaces s'intègre à arXiv avec un onglet Demos
Hugging Face a intégré Spaces à arXivLabs via un onglet Demos permettant d'accéder aux démos open source des articles. Depuis son lancement en octobre 2021.
Hugging Face BlogAI Score5858 Hugging Face intègre Contrastive Search dans Transformers pour la génération de texte
Hugging Face annonce l'intégration de Contrastive Search dans la bibliothèque transformers.
Hugging Face BlogsélectionAI Score6060 MTEB : un benchmark massif pour les modèles d'embedding de texte
Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.
Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.
Hugging Face BlogsélectionAI Score6262 SetFit : un apprentissage efficace en few-shot sans prompts
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Hugging Face BlogAI Score2828 Tutoriel Hugging Face : entraîner son premier Decision Transformer
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
Hugging Face BlogAI Score2222 Hugging Face Optimum Graphcore : guide de fine-tuning des Vision Transformers sur IPU
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Hugging Face BlogAI Score2222 Tutoriel : entraîner et fine-tuner des modèles Sentence Transformers
Ce guide Hugging Face, désormais obsolète, couvre l'API SentenceTransformer.fit des versions antérieures à la v3.0.
Hugging Face BlogAI Score2222 Proximal Policy Optimization (PPO) : théorie et implémentation PyTorch
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
Hugging Face BlogAI Score2222 Nyströmformer : approximer l'auto-attention en temps et mémoire linéaires via la méthode de Nyström
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
Hugging Face BlogAI Score2020 A2C (Advantage Actor Critic) : l'algorithme hybride qui stabilise l'apprentissage par renforcement
Le cours de Deep Reinforcement Learning de Hugging Face consacre son unité 7 à l'algorithme Advantage Actor Critic (A2C).
Hugging Face BlogAI Score2222 Hugging Face : construire un générateur de playlists avec Sentence Transformers
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
Hugging Face BlogAI Score1212 Policy Gradient avec PyTorch : mise en œuvre de Reinforce
Hugging Face publie l'unité 5 de son cours gratuit de Deep Reinforcement Learning.
Hugging Face BlogsélectionAI Score6262 Le modèle de diffusion annoté : implémentation pas à pas du DDPM en PyTorch
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Hugging Face BlogAI Score2222 Deep Q-Learning avec Space Invaders : du Q-Learning tabulaire au DQN
Le cours de Deep Reinforcement Learning de Hugging Face consacre sa troisième unité à Deep Q-Learning.
Hugging Face BlogAI Score3030 TAPEX : pré-entraînement efficace de tables sans données réelles
Microsoft présente TAPEX, une méthode de pré-entraînement de tables qui apprend un exécuteur SQL neuronal sur un corpus synthétique généré en échantillonnant des requêtes SQL exécutables et leurs résultats, sans recourir à des données réelles. Intégré à Transformers 4.19.0, TAPEX atteint de nouveaux résultats SOTA sur quatre benchmarks : 89,6 % sur WikiSQL (+2,3 %), 84,2 % sur TabFact (+3,2 %), 74,5 % sur SQA (+3,5 %) et 57,5 % sur WikiTableQuestions (+4,8 %).
Hugging Face BlogAI Score1818 Introduction au Q-Learning Partie 2/2
Hugging Face publie la deuxième partie de son cours sur le Deep Reinforcement Learning consacrée au Q-Learning.
Hugging Face BlogAI Score2222 Introduction au Q-Learning, partie 1 : méthodes basées sur la valeur et différence entre Monte Carlo et Temporal Difference
Hugging Face publie la première partie de l'unité 2 de son cours gratuit de Deep Reinforcement Learning consacrée au Q-Learning. Ce chapitre couvre les méthodes basées sur la valeur.
Hugging Face BlogAI Score2222 Introduction au Deep Reinforcement Learning — chapitre 1 du cours Hugging Face
Hugging Face publie le premier chapitre de son cours gratuit Deep Reinforcement Learning.
Hugging Face BlogAI Score3838 Hugging Face intègre Decision Transformer dans la bibliothèque transformers
Hugging Face annonce l'intégration du Decision Transformer, une méthode d'apprentissage par renforcement hors ligne.
Hugging Face BlogAI Score2020 Margaret Mitchell, experte en ML : de Seeing AI à l'éthique de l'IA chez Hugging Face
Margaret Mitchell, fondatrice et co-responsable du groupe Ethical AI de Google, a rejoint Hugging Face après quatre ans chez Google pour y créer des protocoles de recherche en IA éthique.
Hugging Face BlogAI Score1515 Hugging Face annonce le lancement du AI Research Residency Program
Hugging Face lance le AI Research Residency Program, un programme de 9 mois à temps plein destiné à lancer ou accélérer une carrière en recherche en machine learning.
Hugging Face BlogAI Score2222 Fine-tuner un modèle de segmentation sémantique SegFormer avec un dataset personnalisé
Ce guide montre comment fine-tuner SegFormer, un modèle de segmentation sémantique SOTA introduit par Xie et al. en 2021.
Hugging Face BlogAI Score2020 BERT 101 : le modèle NLP de pointe expliqué
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
Hugging Face BlogAI Score2222 huggingface_hub : recherche programmatique simplifiée sur le Hub
La bibliothèque huggingface_hub introduit les classes ModelSearchArguments.
Hugging Face BlogsélectionAI Score6060 Hugging Face Transformers intègre Perceiver IO, un modèle Transformer pour toutes les modalités
Hugging Face a ajouté Perceiver IO à sa bibliothèque Transformers, un modèle Transformer capable de traiter texte.
Motif de la recommandation :Présente l'implémentation de Perceiver IO dans Transformers et détaille le traitement de texte, image, flux optique et autoencodage multimodal.
Hugging Face BlogsélectionAI Score6060 Hugging Face entraîne des modèles d'embedding de phrases avec 1 milliard de paires
Hugging Face a entraîné 20 modèles Sentence Transformers à usage général, dont Mini-LM.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
Hugging Face BlogAI Score2222 Hugging Face fine-tune CLIP avec des images satellite et légendes
Une équipe distribuée sur 12 fuseaux horaires a fine-tuné le réseau CLIP d'OpenAI avec des images satellite et légendes issues des datasets RSICD.
Hugging Face BlogAI Score2222 Comprendre l'attention block sparse de BigBird
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face BlogAI Score2222 Hugging Face Reads février 2021 : les Transformers à longue portée
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face BlogAI Score2222 Exploiter les checkpoints de modèles de langage pré-entraînés pour les modèles encodeur-décodeur
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Hugging Face BlogAI Score5252 Le Reformer comment entraîner sur un demi-million de tokens avec moins de 8 Go de RAM
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.