OpenAI étend les clusters Kubernetes à 7 500 nœuds pour l'entraînement de grands modèles
OpenAI a étendu ses clusters Kubernetes à 7 500 nœuds, fournissant une infrastructure évolutive pour les grands modèles comme GPT-3.
OpenAI a étendu ses clusters Kubernetes à 7 500 nœuds, fournissant une infrastructure évolutive pour les grands modèles comme GPT-3.
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Hugging Face a accéléré l'inférence Transformer d'un facteur 100 pour les abonnés de son Accelerated Inference API.
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
Le système de traduction fairseq wmt19 de Facebook FAIR a été porté vers la bibliothèque transformers de Hugging Face.
OpenAI a accepté d'accorder à Microsoft une licence de GPT-3 pour ses propres produits et services.
Hugging Face publie l'extension pytorch_block_sparse.
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.
Le blog Hugging Face détaille les méthodes de décodage pour la génération de langage autorégressive avec la bibliothèque transformers.
OpenAI annonce standardiser son framework d'apprentissage profond sur PyTorch.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir la construction d'une intelligence artificielle générale (AGI) aux bénéfices économiques largement distribués. Les deux entreprises s'associent pour développer sur Microsoft Azure une plateforme matérielle et logicielle évolutive vers l'AGI, et développeront conjointement de nouvelles technologies de supercalcul Azure AI. Microsoft devient le fournisseur cloud exclusif d'OpenAI.
OpenAI annonce travailler avec Microsoft pour commencer à exécuter la plupart de ses expériences à grande échelle sur Azure.
Le deep learning étant une science empirique, la qualité de l'infrastructure d'une équipe multiplie ses progrès. L'écosystème open source actuel permet à quiconque de construire une excellente infrastructure de deep learning.