Hugging Face Reads février 2021 : les Transformers à longue portée
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Hugging Face publie un guide pratique sur la construction et le débogage de réseaux de neurones.
Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
OpenAI publie des travaux sur la modélisation générative du langage appliquée à la démonstration automatique de théorèmes.
OpenAI publie une analyse montrant que depuis 2012.
Motif de la recommandation :L'analyse quantifie la baisse du calcul d'entraînement sur ImageNet depuis 2012 et la compare à la loi de Moore, offrant un repère concret sur le progrès algorithmique.
Hugging Face détaille l'entraînement from scratch d'EsperBERTo, un modèle de 84M de paramètres (6 couches.
OpenAI montre que le phénomène de double descent se produit dans les CNNs, les ResNets et les transformers.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI a découvert que le gradient noise scale, une métrique statistique simple.
OpenAI a mis au point un modèle à base d'énergie capable d'apprendre à identifier et générer des instances de concepts — comme near.
OpenAI a obtenu des résultats de pointe sur une série de tâches linguistiques variées avec un système évolutif et agnostique à la tâche.
OpenAI publie une analyse montrant que depuis 2012, la quantité de calcul utilisée dans les plus grands entraînements d'IA croît de façon exponentielle avec un temps de doublement de 3.
Motif de la recommandation :L'analyse quantifie la croissance exponentielle du calcul d'entraînement depuis 2012 et son rythme de doublement, un repère pour situer les capacités des futurs systèmes.
OpenAI a construit un système qui détermine automatiquement à quel objet renvoie un mot en faisant décider à un réseau de neurones si ce mot appartient à chacun d'environ 100 « types » découverts automatiquement, des catégories non exclusives.
OpenAI a créé des images qui trompent de manière fiable les classifieurs de réseaux neuronaux lorsqu'elles sont vues sous différentes échelles et perspectives. Cela remet en question l'affirmation de la semaine dernière selon laquelle les voitures autonomes seraient difficiles à tromper malveillamment, car elles capturent des images sous plusieurs échelles, angles et perspectives.