Aller au contenu
3mois1jourmercredi
2mois23jourjeudi
2mois21jourmardi
2mois15jourmercredi
2mois10jourvendredi
  1. Hugging Face Blog62

    Hugging Face lance la bibliothèque PEFT pour un fine-tuning économe en paramètres

    Hugging Face annonce la bibliothèque PEFT, qui regroupe des techniques de fine-tuning économe en paramètres intégrées à Transformers et Accelerate. Elle prend en charge LoRA。

    Motif de la recommandation :La bibliothèque PEFT de Hugging Face permet de fine-tuner des LLM avec une fraction des paramètres, ce qui réduit fortement les coûts de calcul et de stockage.

2mois6jourlundi
1mois26jourjeudi
1mois24jourmardi
1mois16jourlundi
  1. Hugging Face Blog30

    Similarité d'images avec Hugging Face Datasets et Transformers

    Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.

1mois2jourlundi
12mois14jourmercredi
12mois9jourvendredi
12mois2jourvendredi
12mois1jourjeudi
11mois23jourmercredi
11mois21jourlundi
11mois17jourjeudi
11mois8jourmardi
11mois2jourmercredi
10mois21jourvendredi
10mois14jourvendredi
  1. Hugging Face Blog40

    Hugging Face Inference Endpoints : guide de prise en main

    Hugging Face lance Inference Endpoints, un service qui déploie des modèles du hub vers une infrastructure managée sur le cloud en quelques clics. Le service propose trois niveaux d'accès — Public, Protected et Private — le mode Private passant par AWS PrivateLink et un VPC Endpoint pour restreindre l'accès au compte AWS. L'exemple déploie un modèle Swin de classification d'images fine-tuné avec AutoTrain sur food101, sur une instance GPU unique hébergée sur AWS en eu-west-1, avec autoscaling et conteneur personnalisé en option.

9mois27jourmardi
  1. Hugging Face Blog62

    Comment Accelerate de Hugging Face exécute de très grands modèles grâce à PyTorch

    Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch。

    Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.

9mois8jourjeudi
9mois7jourmercredi
8mois24jourmercredi
8mois22jourlundi
8mois19jourvendredi
8mois18jourjeudi
  1. Hugging Face Blog22

    Hugging Face Optimum Graphcore : guide de fine-tuning des Vision Transformers sur IPU

    Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.

8mois17jourmercredi
8mois12jourvendredi
8mois11jourjeudi
  1. Hugging Face Blog22

    Déployer 🤗 ViT sur Kubernetes avec TF Serving

    Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.

8mois5jourvendredi
8mois3jourmercredi
8mois2jourmardi
7mois27jourmercredi
7mois25jourlundi
7mois14jourjeudi
  1. Hugging Face Blog58

    La technologie derrière l'entraînement de BLOOM : 384 GPU A100 et Megatron-DeepSpeed

    L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.