Aller au contenu
Hugging Face Blog·· 26 jAI Score42

Hugging Face : vérifier si un modèle Transformers s'exécute sur AWS Trainium

Does Your Model Run on AWS Trainium? Look It Up

AI Introduction

Hugging Face met en ligne un Space qui indique si un modèle Transformers du Hub s'exécute sans modification sur AWS Trainium via le backend PyTorch natif torch-neuronx. Chaque fiche précise le résultat du test, le nombre de cœurs Trainium utilisés, le temps d'exécution compilation incluse et la mémoire device de pointe, avec le script run.py et les versions de neuronx-cc et de Transformers. Les tests se limitent pour l'instant aux modèles de génération de texte et image-texte tenant sur 4 instances Trainium2 (16 cœurs au plus), et les résultats proviennent du dataset public aws-neuron/torch-neuronx-model-support.

Source :Hugging Face Blog · huggingface.co