Orientations techniques
Les pratiques d'ingénierie pour faire tourner les modèles : optimisation de l'inférence, mémoire GPU et coûts, architectures de serving et choix d'infrastructure.
233 sélections30 derniers jours 25 entréesTotal : 824 entrées
OpenAI annonce l'ajout d'embeddings, un nouveau point d'accès dans l'API OpenAI.
Motif de la recommandation :L'original présente un nouveau point d'accès API pour les embeddings, ce qui permet de juger comment intégrer recherche sémantique et classification dans les flux existants.
OpenAI présente la personnalisation de GPT-3 pour votre application, avec un fine-tuning réalisable en une seule commande.
Hugging Face détaille l'entraînement depuis zéro de CodeParrot, un modèle GPT-2 de 1.
Motif de la recommandation :Décrit pas à pas la construction d'un jeu de données, d'un tokenizer et d'une boucle d'entraînement multi-GPU pour un modèle de génération de code.
Hugging Face annonce la sortie d'Optimum, une bibliothèque open source dédiée à l'optimisation des performances des Transformers en production. Elle vise à abstraire la complexité de l'accélération matérielle, en commençant par la quantification des modèles pour les CPU Intel Xeon via Intel Neural Compressor. Optimum s'appuie sur un programme de partenaires matériels et prévoit de publier des configurations et artefacts de modèles optimisés sur le Hugging Face Model Hub.
Motif de la recommandation :Hugging Face présente Optimum, une bibliothèque open source qui simplifie la quantification et l'accélération des Transformers sur du matériel dédié, avec Intel comme premier partenaire.
OpenAI publie Triton 1.0, un langage de programmation open source de type Python qui permet aux chercheurs sans expérience CUDA d'écrire du code GPU très efficace.
Motif de la recommandation :Triton 1.0 permet aux chercheurs sans expérience CUDA d'écrire du code GPU efficace, ce qui abaisse le seuil de programmation GPU.
Gradio 2.0 permet de charger et d'utiliser presque n'importe quel modèle Hugging Face avec une interface graphique en une seule ligne de code.
Motif de la recommandation :Gradio 2.0 permet de charger et combiner des modèles Hugging Face en une ligne, avec un exemple de traduction et résumé en trois lignes.
Hugging Face présente Accelerate, une bibliothèque qui permet d'exécuter un script d'entraînement PyTorch brut sur n'importe quel type de dispositif distribué (multi-GPU sur un ou plusieurs nœuds, TPU) et avec ou sans précision mixte, en ajoutant cinq lignes de code. Elle fournit une API unifiée qui abstrait le code répétitif et une commande de lancement pour exécuter les scripts sur différentes configurations. Les plans futurs incluent le support de fairscale, deepseed, ainsi que du parallélisme de données et de modèle spécifique à AWS SageMaker. L'installation se fait via pip install accelerate.
Motif de la recommandation :L'article détaille les cinq lignes à ajouter à un script PyTorch pour exécuter l'entraînement distribué et la précision mixte, avec le lanceur CLI et la configuration.
Plus de 300 applications fournissent via l'API d'OpenAI des fonctions d'IA telles que la recherche, la conversation et la complétion de texte basées sur GPT-3.
Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
OpenAI a accepté d'accorder à Microsoft une licence de GPT-3 pour ses propres produits et services.
OpenAI annonce standardiser son framework d'apprentissage profond sur PyTorch.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir la construction d'une intelligence artificielle générale (AGI) aux bénéfices économiques largement distribués. Les deux entreprises s'associent pour développer sur Microsoft Azure une plateforme matérielle et logicielle évolutive vers l'AGI, et développeront conjointement de nouvelles technologies de supercalcul Azure AI. Microsoft devient le fournisseur cloud exclusif d'OpenAI.