Hugging Face annonce que sa bibliothèque Optimum intègre ONNX Runtime Training.
Motif de la recommandation :L'original détaille l'intégration d'ONNX Runtime dans Optimum et les gains d'entraînement mesurés, ce qui aide à évaluer l'impact sur les coûts de fine-tuning.
Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids.
Habana Gaudi2 est environ deux fois plus rapide que le Nvidia A100 80GB en entraînement et en inférence.
La communauté Elixir accueille plusieurs modèles de réseaux de neurones, de GPT2 à Stable Diffusion.
Hugging Face publie un article pédagogique « Deep Learning with Proteins » destiné aux biologistes et aux spécialistes du ML.
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur.
Hugging Face publie le quatrième volet de sa série « Director of Machine Learning Insights ».
Hugging Face détaille comment les entreprises peuvent construire des solutions Document AI avec des modèles open source.
Hugging Face détaille une méthode d'analyse de sentiment sur données chiffrées via la bibliothèque Concrete-ML et le chiffrement homomorphe (FHE).
Hugging Face met fin au tier payant de l'Inference API, qui reste gratuit pour tous.
Hugging Face annonce l'intégration de Contrastive Search dans la bibliothèque transformers.
Hugging Face publie un tutoriel montrant comment passer de PyTorch DDP natif à Accelerate puis au Trainer pour l'entraînement distribué.
Hugging Face lance Inference Endpoints, un service qui déploie des modèles du hub vers une infrastructure managée sur le cloud en quelques clics. Le service propose trois niveaux d'accès — Public, Protected et Private — le mode Private passant par AWS PrivateLink et un VPC Endpoint pour restreindre l'accès au compte AWS. L'exemple déploie un modèle Swin de classification d'images fine-tuné avec AutoTrain sur food101, sur une instance GPU unique hébergée sur AWS en eu-west-1, avec autoscaling et conteneur personnalisé en option.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch.
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
Hugging Face détaille l'entraînement d'un modèle GPT2 avec Megatron-LM de NVIDIA sur GPU.
Hugging Face explique comment intégrer la visualisation 3D de protéines dans un Space Gradio via 3Dmol.js et le bloc HTML.
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers.
Hugging Face montre comment déployer un modèle ViT B/16 de 🤗 Transformers sur Vertex AI.
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Hugging Face intègre LLM.int8() dans transformers et accelerate.
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face présente Skops, une bibliothèque qui permet d'héberger des modèles scikit-learn sur le Hugging Face Hub.
Hugging Face détaille sa philosophie d'intégration de TensorFlow dans la bibliothèque transformers.
Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
Hugging Face lance le Private Hub (PH), une plateforme unifiée d'outils ML couvrant de la recherche à la production.
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
La génération de texte avec les modèles 🤗 transformers sous TensorFlow peut désormais être compilée avec XLA.
Hugging Face permet désormais de déployer localement un modèle Vision Transformer (ViT) de classification d'images via TensorFlow Serving.
L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
Hugging Face publie un guide pratique pour réaliser une analyse de sentiment sur Twitter.
Hugging Face montre comment entraîner de grands modèles avec la bibliothèque Accelerate en exploitant les fonctionnalités ZeRO de DeepSpeed sans modifier le code. Sur 2 GPU NVIDIA Titan RTX 24 Go, le fine-tuning de microsoft/deberta-v2-xlarge-mnli (900M paramètres) sur MRPC atteint une taille de batch de 40 contre 8 pour DDP, soit 5X plus de données par GPU et environ 3.5X d'accélération de l'entraînement (28.98 s contre 103.57 s par époque), sans baisse du F1 (0.936) ni de l'accuracy (0.912). Un fichier de configuration DeepSpeed permet d'ajuster davantage d'options, illustré par le fine-tuning de facebook/blenderbot-400M-distill sur le dataset MuDoConv.
Hugging Face publie un tutoriel pour créer un moteur de FAQ en embeddant un jeu de données avec la Hugging Face Inference API et le modèle open source sentence-transformers/all-MiniLM-L6-v2. Les embeddings, vecteurs de 384 nombres capturant le sens sémantique de textes ou d'images, permettent de comparer une requête utilisateur aux questions du jeu de données pour identifier la FAQ la plus proche. Le tutoriel détaille l'embedding des FAQ Medicare, leur hébergement gratuit sur le Hub et la comparaison sémantique des requêtes.
Hugging Face Optimum permet de convertir un modèle Transformers en ONNX via ORTModelForSequenceClassification et from_transformers=True.
Intel rejoint le Hardware Partner Program de Hugging Face et les deux entreprises collaborent via la bibliothèque open source Optimum pour accélérer l'entraînement.
Hugging Face publie la troisième partie de sa série « Director of Machine Learning Insights ».
Graphcore et Hugging Face élargissent Hugging Face Optimum avec 10 modèles Transformer prêts pour l'IPU.
Sempre Health a déployé un pipeline NLP qui traite automatiquement près de 20 % des messages entrants.