Aller au contenu
Hugging Face Blog·· 2022-08-11AI Score22

Déployer 🤗 ViT sur Kubernetes avec TF Serving

Deploying 🤗 ViT on Kubernetes with TF Serving

AI Introduction

Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.

Source :Hugging Face Blog · huggingface.co