Hugging Face Blog·· 2023-09-13sélectionAI Score62
Comment fine-tuner Llama 2 70B avec PyTorch FSDP
Fine-tuning Llama 2 70B using PyTorch FSDP
AI Introduction
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB。
Raison de la recommandation
Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Source :Hugging Face Blog · huggingface.co