Hugging Face Blog·· 2022-05-02AI Score40
Accelerate : entraîner de grands modèles avec PyTorch FullyShardedDataParallel
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
AI Introduction
Hugging Face montre comment entraîner de grands modèles via Accelerate en exploitant PyTorch FullyShardedDataParallel (FSDP).
Source :Hugging Face Blog · huggingface.co