Hugging Face publie une analyse comparative des techniques de fine-tuning paramétrique efficace (PEFT) et conclut que LoRA。
Motif de la recommandation :Les benchmarks comparatifs de la bibliothèque PEFT montrent que LoRA n'est pas toujours le meilleur compromis, avec des chiffres et des configurations transférables.
NVIDIA détaille un pipeline en six étapes pour transformer un modèle d'embedding généraliste (Llama-Nemotron-Embed-1B-v2) en modèle spécialisé à un domaine。
Motif de la recommandation :Présente un pipeline complet de fine-tuning d'embedding pour RAG, avec commandes, hyperparamètres et résultats mesurés sur un GPU unique.
Photoroom publie le troisième volet de sa série PRX, consacré à un speedrun d'entraînement d'un modèle text-to-image en 24 heures sur 32 H200。
Motif de la recommandation :L'article détaille la recette complète d'un entraînement text-to-image en 24h sur 32 H200 pour environ 1500 dollars, avec code open source.
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB。
Motif de la recommandation :Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Hugging Face détaille comment fine-tuner StarCoder, un modèle de 16B paramètres entraîné sur 80+ langages de programmation。
Motif de la recommandation :L'article détaille le fine-tuning de StarCoder avec ChatML et DeepSpeed ZeRO-3, une méthode transférable pour transformer un modèle de code en assistant conversationnel.