Hugging Face Blog·· 14 hsélectionAI Score78
PyTorch 2.15 apporte FP8 et un décodage LLM plus rapide sur le backend MPS des Mac
MPS in PyTorch 2.15
AI Introduction
PyTorch 2.15 ajoute le support FP8 sur MPS et accélère le décodage des modèles de langage sur Mac. Sur un M3 Ultra avec torch.compile.
Raison de la recommandation
L'équipe PyTorch de Hugging Face détaille les changements du backend MPS dans PyTorch 2.15, avec des chiffres de débit et de mémoire qui aident à évaluer l'exécution locale de modèles sur Mac.
Source :Hugging Face Blog · huggingface.co