Le Reformer comment entraîner sur un demi-million de tokens avec moins de 8 Go de RAM
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.