Les pratiques d'ingénierie pour faire tourner les modèles : optimisation de l'inférence, mémoire GPU et coûts, architectures de serving et choix d'infrastructure.
535 sélections30 derniers jours 173 entréesTotal : 2 616 entrées
mise à jour
Archives de la sélection · page 27
10 décembreven.521–535 entrées · Au total 535 entrées
Motif de la recommandation :L'auteur documente le remplacement de la carte propriétaire d'une Cetus MK3 par une Mellow FLY RRF E3, avec adaptateur, câblage et configuration RepRapFirmware.
Motif de la recommandation :Décrit pas à pas la construction d'un jeu de données, d'un tokenizer et d'une boucle d'entraînement multi-GPU pour un modèle de génération de code.
Hugging Face annonce la sortie d'Optimum, une bibliothèque open source dédiée à l'optimisation des performances des Transformers en production. Elle vise à abstraire la complexité de l'accélération matérielle, en commençant par la quantification des modèles pour les CPU Intel Xeon via Intel Neural Compressor. Optimum s'appuie sur un programme de partenaires matériels et prévoit de publier des configurations et artefacts de modèles optimisés sur le Hugging Face Model Hub.
Motif de la recommandation :Hugging Face présente Optimum, une bibliothèque open source qui simplifie la quantification et l'accélération des Transformers sur du matériel dédié, avec Intel comme premier partenaire.
OpenAI publie Triton 1.0, un langage de programmation open source de type Python qui permet aux chercheurs sans expérience CUDA d'écrire du code GPU très efficace.
Motif de la recommandation :Triton 1.0 permet aux chercheurs sans expérience CUDA d'écrire du code GPU efficace, ce qui abaisse le seuil de programmation GPU.
Motif de la recommandation :Gradio 2.0 permet de charger et combiner des modèles Hugging Face en une ligne, avec un exemple de traduction et résumé en trois lignes.
Hugging Face présente Accelerate, une bibliothèque qui permet d'exécuter un script d'entraînement PyTorch brut sur n'importe quel type de dispositif distribué (multi-GPU sur un ou plusieurs nœuds, TPU) et avec ou sans précision mixte, en ajoutant cinq lignes de code. Elle fournit une API unifiée qui abstrait le code répétitif et une commande de lancement pour exécuter les scripts sur différentes configurations. Les plans futurs incluent le support de fairscale, deepseed, ainsi que du parallélisme de données et de modèle spécifique à AWS SageMaker. L'installation se fait via pip install accelerate.
Motif de la recommandation :L'article détaille les cinq lignes à ajouter à un script PyTorch pour exécuter l'entraînement distribué et la précision mixte, avec le lanceur CLI et la configuration.
Motif de la recommandation :L'auteur détaille le remplacement de la carte d'une Prusa MK2.5S par une DUET 3 Mini 5+, du câblage à la configuration RepRapFirmware, avec les fichiers de configuration partagés.
Motif de la recommandation :L'auteur relie un défaut d'impression à la régulation thermique du plateau et détaille comment identifier puis corriger le mode de contrôle.
Plus de 300 applications fournissent via l'API d'OpenAI des fonctions d'IA telles que la recherche, la conversation et la complétion de texte basées sur GPT-3.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.
Motif de la recommandation :Des essais de couple et d'arrachement comparent cinq méthodes de filetage sur pièces imprimées en PETG, avec calculs de résistance à l'appui.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir la construction d'une intelligence artificielle générale (AGI) aux bénéfices économiques largement distribués. Les deux entreprises s'associent pour développer sur Microsoft Azure une plateforme matérielle et logicielle évolutive vers l'AGI, et développeront conjointement de nouvelles technologies de supercalcul Azure AI. Microsoft devient le fournisseur cloud exclusif d'OpenAI.