Hugging Face a entraîné 20 modèles Sentence Transformers à usage général, dont Mini-LM.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
Une équipe distribuée sur 12 fuseaux horaires a fine-tuné le réseau CLIP d'OpenAI avec des images satellite et légendes issues des datasets RSICD.
Hugging Face annonce l'intégration de Sentence Transformers au Hub avec la sortie de la v2.
Hugging Face et Amazon SageMaker proposent des Deep Learning Containers optimisés pour 🤗 Transformers.
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face publie un guide pratique sur la construction et le débogage de réseaux de neurones.
Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Hugging Face détaille l'entraînement from scratch d'EsperBERTo, un modèle de 84M de paramètres (6 couches.