Aller au contenu
#Déploiement/ingénierie
19 aoûtven.
18 aoûtjeu.
  1. Hugging Face Blog22

    Hugging Face Optimum Graphcore : guide de fine-tuning des Vision Transformers sur IPU

    Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.

17 aoûtmer.
12 aoûtven.
11 aoûtjeu.
  1. Hugging Face Blog22

    Déployer 🤗 ViT sur Kubernetes avec TF Serving

    Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.

5 aoûtven.
3 aoûtmer.
2 aoûtmar.
27 juilletmer.
25 juilletlun.
14 juilletjeu.
  1. Hugging Face Blog58

    La technologie derrière l'entraînement de BLOOM : 384 GPU A100 et Megatron-DeepSpeed

    L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.

13 juilletmer.
7 juilletjeu.
28 juinmar.
  1. Hugging Face Blog38

    Accelerate : entraîner de grands modèles avec DeepSpeed ZeRO

    Hugging Face montre comment entraîner de grands modèles avec la bibliothèque Accelerate en exploitant les fonctionnalités ZeRO de DeepSpeed sans modifier le code. Sur 2 GPU NVIDIA Titan RTX 24 Go, le fine-tuning de microsoft/deberta-v2-xlarge-mnli (900M paramètres) sur MRPC atteint une taille de batch de 40 contre 8 pour DDP, soit 5X plus de données par GPU et environ 3.5X d'accélération de l'entraînement (28.98 s contre 103.57 s par époque), sans baisse du F1 (0.936) ni de l'accuracy (0.912). Un fichier de configuration DeepSpeed permet d'ajuster davantage d'options, illustré par le fine-tuning de facebook/blenderbot-400M-distill sur le dataset MuDoConv.

23 juinjeu.
  1. Hugging Face Blog22

    Hugging Face : démarrer avec les embeddings

    Hugging Face publie un tutoriel pour créer un moteur de FAQ en embeddant un jeu de données avec la Hugging Face Inference API et le modèle open source sentence-transformers/all-MiniLM-L6-v2. Les embeddings, vecteurs de 384 nombres capturant le sens sémantique de textes ou d'images, permettent de comparer une requête utilisateur aux questions du jeu de données pour identifier la FAQ la plus proche. Le tutoriel détaille l'embedding des FAQ Medicare, leur hébergement gratuit sur le Hub et la comparaison sémantique des requêtes.

22 juinmer.
15 juinmer.
14 juinmar.
9 juinjeu.
26 maijeu.
24 maimar.
19 maijeu.
16 mailun.
10 maimar.
6 maiven.
2 mailun.
26 avrilmar.
  1. Hugging Face Blog22

    Guide de démarrage avec Transformers sur Habana Gaudi

    Hugging Face et Habana Labs ont publié un guide pratique pour fine-tuner des modèles Transformers sur les accélérateurs Habana Gaudi via des instances Amazon EC2 DL1. Le tutoriel détaille le lancement d'une instance dl1.24xlarge équipée de 8 processeurs Gaudi, l'utilisation de l'AMI Habana Deep Learning et du conteneur PyTorch, puis le fine-tuning de bert-large-uncased-whole-word-masking sur la tâche MRPC du benchmark GLUE avec Optimum Habana. Le job atteint un score F1 de 0.8968 en 2 minutes et 12 secondes, pour un coût de $3.93 par heure en Spot Instance contre $13.11 en tarif standard, soit 70% d'économie.

25 avrillun.
  1. Hugging Face Blog20

    Service client boosté par le machine learning avec l'écosystème Hugging Face

    Hugging Face montre comment automatiser le filtrage des messages clients mécontents en modélisant le problème comme une classification de texte à 5 classes (very unsatisfied à very satisfied). Le dataset Amazon reviews multi est retenu pour ses labels de sentiment de 1 à 5 étoiles, jugé plus adapté que GLUE, Amazon polarity ou Tweet eval. L'approche vise à répondre à 100 % des messages des clients les plus insatisfaits, supposés minoritaires parmi l'ensemble des retours.

22 avrilven.
  1. Hugging Face Blog22

    Hugging Face Hub : suivi et recherche des émissions de CO2 des modèles

    Hugging Face ajoute à sa bibliothèque huggingface_hub un paramètre emissions_threshold permettant de filtrer les modèles du Hub selon les émissions de CO2 générées lors de leur entraînement. L'intégration de codecarbon dans transformers enregistre automatiquement ces émissions via CodeCarbonCallback et les consigne dans un fichier emissions.csv, que l'utilisateur peut reporter dans la fiche du modèle. Une recherche avec un seuil maximal de 100 grammes renvoie 191 modèles, tandis qu'un seuil minimal de 500 grammes n'en retourne que 10.

5 avrilmar.
16 marsmer.
2 marsmer.
11 févrierven.
  1. Hugging Face Blog22

    Fine-tuner ViT pour la classification d'images avec 🤗 Transformers

    Hugging Face détaille le fine-tuning du Vision Transformer (ViT) pour la classification d'images via les bibliothèques 🤗 datasets et transformers. Le tutoriel s'appuie sur le modèle google/vit-base-patch16-224-in21k et le jeu de données beans (3 classes : angular_leaf_spot, bean_rust, healthy), en utilisant ViTImageProcessor pour redimensionner les images en 224×224 et les normaliser avec mean/std de 0,5. L'installation se fait via `pip install datasets transformers`.

2 févriermer.
25 janviermar.
13 janvierjeu.
12 janviermer.
11 janviermar.
14 décembremar.