Hugging Face comment accélérer le développement de l'assistant de rédaction Witty Works
Hugging Face a accompagné Witty Works, via son Expert Acceleration Program。
Hugging Face a accompagné Witty Works, via son Expert Acceleration Program。
Fetch, société de récompenses shopping, a reconstruit sa plateforme IA avec Hugging Face sur AWS。
Hugging Face et AWS ont élargi leur partenariat stratégique de long terme pour démocratiser l'apprentissage automatique。
Hugging Face a lancé Inference Endpoints, un service managé permettant de déployer presque n'importe quel modèle du Hub sur AWS ou Azure。
Hugging Face annonce la bibliothèque PEFT, qui regroupe des techniques de fine-tuning économe en paramètres intégrées à Transformers et Accelerate. Elle prend en charge LoRA。
Motif de la recommandation :La bibliothèque PEFT de Hugging Face permet de fine-tuner des LLM avec une fraction des paramètres, ce qui réduit fortement les coûts de calcul et de stockage.
Hugging Face détaille l'inférence des Transformers PyTorch sur les CPU Intel Xeon Sapphire Rapids via Optimum Intel。
Hugging Face consacre le quatrième volet de sa série « AI for Game Development » à la génération d'assets 2D avec Stable Diffusion。
Hugging Face annonce que sa bibliothèque Optimum intègre ONNX Runtime Training。
Motif de la recommandation :L'original détaille l'intégration d'ONNX Runtime dans Optimum et les gains d'entraînement mesurés, ce qui aide à évaluer l'impact sur les coûts de fine-tuning.
Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids。
Habana Gaudi2 est environ deux fois plus rapide que le Nvidia A100 80GB en entraînement et en inférence。
La communauté Elixir accueille plusieurs modèles de réseaux de neurones, de GPT2 à Stable Diffusion。
Hugging Face détaille le fonctionnement du Reinforcement Learning from Human Feedback (RLHF)。
Hugging Face publie un article pédagogique « Deep Learning with Proteins » destiné aux biologistes et aux spécialistes du ML。
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur。
Hugging Face publie le quatrième volet de sa série « Director of Machine Learning Insights »。
Hugging Face détaille comment les entreprises peuvent construire des solutions Document AI avec des modèles open source。
Hugging Face détaille une méthode d'analyse de sentiment sur données chiffrées via la bibliothèque Concrete-ML et le chiffrement homomorphe (FHE)。
Hugging Face met fin au tier payant de l'Inference API, qui reste gratuit pour tous。
Hugging Face annonce l'intégration de Contrastive Search dans la bibliothèque transformers。
Hugging Face 将 Intel OpenVINO 集成到 Optimum Intel, 用户现可在多种 Intel 处理器上使用 OpenVINO Runtime 对 Transformers 模型进行推理。
Hugging Face publie un tutoriel montrant comment passer de PyTorch DDP natif à Accelerate puis au Trainer pour l'entraînement distribué。
Hugging Face lance Inference Endpoints, un service qui déploie des modèles du hub vers une infrastructure managée sur le cloud en quelques clics. Le service propose trois niveaux d'accès — Public, Protected et Private — le mode Private passant par AWS PrivateLink et un VPC Endpoint pour restreindre l'accès au compte AWS. L'exemple déploie un modèle Swin de classification d'images fine-tuné avec AutoTrain sur food101, sur une instance GPU unique hébergée sur AWS en eu-west-1, avec autoscaling et conteneur personnalisé en option.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch。
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah。
Hugging Face détaille l'entraînement d'un modèle GPT2 avec Megatron-LM de NVIDIA sur GPU。
Hugging Face explique comment intégrer la visualisation 3D de protéines dans un Space Gradio via 3Dmol.js et le bloc HTML。
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers。
Hugging Face montre comment déployer un modèle ViT B/16 de 🤗 Transformers sur Vertex AI。
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Hugging Face intègre LLM.int8() dans transformers et accelerate。
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face présente Skops, une bibliothèque qui permet d'héberger des modèles scikit-learn sur le Hugging Face Hub。
Hugging Face détaille sa philosophie d'intégration de TensorFlow dans la bibliothèque transformers。
Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO)。
Hugging Face lance le Private Hub (PH), une plateforme unifiée d'outils ML couvrant de la recherche à la production。
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire。
La génération de texte avec les modèles 🤗 transformers sous TensorFlow peut désormais être compilée avec XLA。
Hugging Face permet désormais de déployer localement un modèle Vision Transformer (ViT) de classification d'images via TensorFlow Serving。
L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.