Hugging Face Diffusers prend en charge Flax depuis la version 0.5.1.
Motif de la recommandation :Présente la prise en charge de Flax dans Diffusers et détaille le déploiement parallèle de Stable Diffusion sur TPU, une méthode directement réutilisable.
L'équipe Hugging Face détaille dans un article les optimisations apportées au serveur d'inférence de BLOOM.
rinna Co., Ltd. a développé Japanese Stable Diffusion.
Hugging Face permet désormais d'évaluer en zero-shot tout modèle causal du Hub sans écrire de code.
Hugging Face ajoute la classification d'images à AutoTrain, sa fonctionnalité de machine learning sans code qui entraîne des modèles sans configuration. L'utilisateur choisit la tâche.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch.
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Hugging Face lance une newsletter trimestrielle « Ethics and Society », publiée à chaque équinoxe et solstice.
Hugging Face présente trois scripts d'inférence pour le modèle BLOOM de 176 milliards de paramètres.
Motif de la recommandation :L'article compare trois solutions d'inférence pour BLOOM 176B avec des chiffres de débit et de chargement, utile pour choisir un schéma de déploiement.
Hugging Face a publié la version 0.3 de la bibliothèque diffusers, qui ajoute des pipelines image-to-image.
Motif de la recommandation :L'original détaille les nouvelles fonctionnalités de diffusers 0.3 et les optimisations de VRAM, ce qui permet de juger des flux de génération d'images à mettre en place.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
Hugging Face détaille l'entraînement d'un modèle GPT2 avec Megatron-LM de NVIDIA sur GPU.
Hugging Face soutient OpenRAIL, une famille de licences spécifiques à l'IA qui permettent l'accès.
Hugging Face explique comment intégrer la visualisation 3D de protéines dans un Space Gradio via 3Dmol.js et le bloc HTML.
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers.
Hugging Face présente comment utiliser Stable Diffusion, un modèle de diffusion latent texte-image créé par CompVis.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
Hugging Face montre comment déployer un modèle ViT B/16 de 🤗 Transformers sur Vertex AI.
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Hugging Face intègre LLM.int8() dans transformers et accelerate.
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face présente Skops, une bibliothèque qui permet d'héberger des modèles scikit-learn sur le Hugging Face Hub.
Hugging Face détaille sa philosophie d'intégration de TensorFlow dans la bibliothèque transformers.
Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.
Ce guide Hugging Face, désormais obsolète, couvre l'API SentenceTransformer.fit des versions antérieures à la v3.0.
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
Hugging Face lance le Private Hub (PH), une plateforme unifiée d'outils ML couvrant de la recherche à la production.
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
La génération de texte avec les modèles 🤗 transformers sous TensorFlow peut désormais être compilée avec XLA.
Hugging Face permet désormais de déployer localement un modèle Vision Transformer (ViT) de classification d'images via TensorFlow Serving.
Le cours de Deep Reinforcement Learning de Hugging Face consacre son unité 7 à l'algorithme Advantage Actor Critic (A2C).
Hugging Face détaille la collecte dynamique de données adverses (DADC), une méthode où des humains créent des exemples pour tromper des modèles SOTA.
L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
Hugging Face publie un guide pratique pour réaliser une analyse de sentiment sur Twitter.
Hugging Face publie l'unité 5 de son cours gratuit de Deep Reinforcement Learning.
Hugging Face publie un guide pour débutants qui utilise Sentence Transformers (ST) comme exemple pour passer de zéro à un premier projet ML autonome. ST transforme des phrases en embeddings vectoriels et fournit la fonction util.cos_sim pour calculer la similarité cosinus (score de -1 à 1), avec le modèle msmarco-MiniLM-L-6-v3 chargé dans un Jupyter notebook. La bibliothèque compte près de 8 000 étoiles sur GitHub et plus de 3 000 projets et packages qui en dépendent, et sert à la recherche sémantique, au clustering, à la distillation de modèles ou à CLIP.
Hugging Face annonce Evaluation on the Hub, un outil propulsé par AutoTrain qui permet d'évaluer n'importe quel modèle sur n'importe quel jeu de données du Hub sans écrire une ligne de code. Les résultats sont encodés dans les métadonnées des fiches de modèles et une pull request est ouverte automatiquement, avec des classements par jeu de données et par métrique. L'équipe a déjà évalué des centaines de modèles sur plusieurs jeux de données clés et cite trois cas d'usage principaux : trouver le meilleur modèle pour une tâche, évaluer des modèles sur un nouveau jeu de données et tester un modèle sur de nombreux jeux de données liés.
Motif de la recommandation :Hugging Face ouvre l'évaluation de modèles sur le Hub sans code, avec résultats intégrés aux fiches de modèles et classements consultables.
Hugging Face montre comment entraîner de grands modèles avec la bibliothèque Accelerate en exploitant les fonctionnalités ZeRO de DeepSpeed sans modifier le code. Sur 2 GPU NVIDIA Titan RTX 24 Go, le fine-tuning de microsoft/deberta-v2-xlarge-mnli (900M paramètres) sur MRPC atteint une taille de batch de 40 contre 8 pour DDP, soit 5X plus de données par GPU et environ 3.5X d'accélération de l'entraînement (28.98 s contre 103.57 s par époque), sans baisse du F1 (0.936) ni de l'accuracy (0.912). Un fichier de configuration DeepSpeed permet d'ajuster davantage d'options, illustré par le fine-tuning de facebook/blenderbot-400M-distill sur le dataset MuDoConv.
Hugging Face publie un tutoriel pour créer un moteur de FAQ en embeddant un jeu de données avec la Hugging Face Inference API et le modèle open source sentence-transformers/all-MiniLM-L6-v2. Les embeddings, vecteurs de 384 nombres capturant le sens sémantique de textes ou d'images, permettent de comparer une requête utilisateur aux questions du jeu de données pour identifier la FAQ la plus proche. Le tutoriel détaille l'embedding des FAQ Medicare, leur hébergement gratuit sur le Hub et la comparaison sémantique des requêtes.
Hugging Face Optimum permet de convertir un modèle Transformers en ONNX via ORTModelForSequenceClassification et from_transformers=True.
Intel rejoint le Hardware Partner Program de Hugging Face et les deux entreprises collaborent via la bibliothèque open source Optimum pour accélérer l'entraînement.