Hugging Face Blog·· 2024-03-20sélectionAI Score62
GaLore : entraîner de grands modèles sur du matériel grand public
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI Introduction
Le blog Hugging Face présente GaLore, une méthode qui projette les gradients dans un sous-espace de bas rang pour réduire la mémoire des états d'optimiseur de plus de 82.
Raison de la recommandation
L'article détaille la réduction de plus de 82,5 % de la mémoire des états d'optimiseur et fournit un exemple exécutable avec transformers, utile pour l'entraînement sur GPU grand public.
Source :Hugging Face Blog · huggingface.co