Hugging Face Blog·· 2020-11-09AI Score22
Exploiter les checkpoints de modèles de langage pré-entraînés pour les modèles encodeur-décodeur
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
AI Introduction
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Source :Hugging Face Blog · huggingface.co