Hugging Face Blog·· 2021-01-19sélectionAI Score62
Comment entraîner plus vite et plus gros avec ZeRO via DeepSpeed et FairScale
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI Introduction
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Raison de la recommandation
L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Source :Hugging Face Blog · huggingface.co