BERT 101 : le modèle NLP de pointe expliqué
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
La bibliothèque huggingface_hub introduit les classes ModelSearchArguments.
Hugging Face explique comment combiner AutoNLP et Prodigy pour construire un pipeline d'apprentissage actif. AutoNLP.
Hugging Face annonce l'acquisition de Gradio, la bibliothèque open source de démonstration de modèles de machine learning. L'un des fondateurs de Gradio.
Motif de la recommandation :L'annonce de l'acquisition de Gradio par Hugging Face et le rappel des 300 000 démos construites permettent de situer l'évolution de l'outillage de démonstration ML.
Hugging Face a ajouté Perceiver IO à sa bibliothèque Transformers, un modèle Transformer capable de traiter texte.
Motif de la recommandation :Présente l'implémentation de Perceiver IO dans Transformers et détaille le traitement de texte, image, flux optique et autoencodage multimodal.
Hugging Face a mis en ligne le Data Measurements Tool (DMT).
Microsoft et NVIDIA ont présenté Megatron-Turing NLG 530B.
Hugging Face publie le 15 novembre la partie 2 de son cours, consacrée aux tâches NLP courantes (classification de tokens.
Le rapport State of AI 2021 et l'enquête Kaggle ML & Data Science confirment que l'architecture Transformer s'impose comme architecture générale du Machine Learning.
Hugging Face intègre Gradio au Hub pour permettre de démontrer un modèle en quelques lignes de code via l'Inference API.
Hugging Face intègre spaCy au Hub, permettant de téléverser et partager des pipelines spaCy en une seule commande.
Hugging Face annonce l'intégration de Sentence Transformers au Hub avec la sortie de la v2.
Gradio 2.0 permet de charger et d'utiliser presque n'importe quel modèle Hugging Face avec une interface graphique en une seule ligne de code.
Motif de la recommandation :Gradio 2.0 permet de charger et combiner des modèles Hugging Face en une ligne, avec un exemple de traduction et résumé en trois lignes.
La promotion 2021 du programme OpenAI Scholars a achevé son mentorat de six mois et publié un projet de recherche open source, avec bourses et soutien d'OpenAI.
Hugging Face présente Accelerate, une bibliothèque qui permet d'exécuter un script d'entraînement PyTorch brut sur n'importe quel type de dispositif distribué (multi-GPU sur un ou plusieurs nœuds, TPU) et avec ou sans précision mixte, en ajoutant cinq lignes de code. Elle fournit une API unifiée qui abstrait le code répétitif et une commande de lancement pour exécuter les scripts sur différentes configurations. Les plans futurs incluent le support de fairscale, deepseed, ainsi que du parallélisme de données et de modèle spécifique à AWS SageMaker. L'installation se fait via pip install accelerate.
Motif de la recommandation :L'article détaille les cinq lignes à ajouter à un script PyTorch pour exécuter l'entraînement distribué et la précision mixte, avec le lanceur CLI et la configuration.
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
Le système de traduction fairseq wmt19 de Facebook FAIR a été porté vers la bibliothèque transformers de Hugging Face.
La troisième promotion des OpenAI Scholars a présenté ses projets finaux lors d'un Demo Day virtuel, exposant les résultats de recherche de plus de cinq mois.
OpenAI co-organise deux compétitions à NeurIPS 2020 avec AIcrowd, Carnegie Mellon University et DeepMind, s'appuyant sur Procgen Benchmark et MineRL.
OpenAI présente OpenAI Microscope, une collection de visualisations de chaque couche et neurone significatifs de huit « organismes modèles » de vision souvent étudiés en interprétabilité. L'outil vise à faciliter l'analyse des caractéristiques qui se forment à l'intérieur de ces réseaux neuronaux et à aider la communauté de recherche à mieux comprendre ces systèmes complexes.
L'auteur a assemblé un broyeur Precious Plastic à partir d'un kit découpé au laser.
Motif de la recommandation :L'auteur documente le montage d'un broyeur à manivelle et ses adaptations, avec les liens vers les pièces imprimées et les essais sur PLA, PET et HDPE.
Hugging Face détaille l'entraînement from scratch d'EsperBERTo, un modèle de 84M de paramètres (6 couches.
OpenAI annonce standardiser son framework d'apprentissage profond sur PyTorch.
V1Pi est une image préconfigurée par Jeffeb3 (El Heffe) qui permet de piloter une machine CNC ou OctoPrint depuis un Raspberry Pi en deux étapes.
La deuxième promotion d'OpenAI Scholars a achevé son programme, les huit boursiers ayant présenté leur projet final lors du Scholars Demo Day organisé chez OpenAI.
OpenAI publie Neural MMO, un environnement de jeu massivement multiagent destiné aux agents d'apprentissage par renforcement. La plateforme prend en charge un nombre important et variable d'agents dans une tâche persistante et ouverte, et l'inclusion de nombreux agents et espèces favorise une meilleure exploration, la formation de niches divergentes et une compétence globale accrue.
OpenAI publie Spinning Up in Deep RL, une ressource éducative conçue pour permettre à quiconque d'apprendre à devenir praticien du deep reinforcement learning. Elle comprend des exemples clairs de code RL, des exercices pédagogiques, de la documentation et des tutoriels.
OpenAI ouvre les candidatures pour la deuxième promotion de son programme OpenAI Scholars.
OpenAI publie la version complète de Gym Retro, une plateforme de recherche en apprentissage par renforcement sur les jeux. Le nombre de jeux publics passe d'environ 70 jeux Atari et 30 jeux Sega à plus de 1000 jeux couvrant plusieurs émulateurs sous-jacents. OpenAI publie également l'outil utilisé pour ajouter de nouveaux jeux à la plateforme.
Motif de la recommandation :OpenAI ouvre une plateforme d'apprentissage par renforcement sur plus de 1000 jeux et publie l'outil d'ajout de jeux, ce qui permet de mesurer l'évolution de l'échelle des environnements disponibles.
OpenAI lance OpenAI Scholars, un programme offrant 6 à 10 bourses et un mentorat à des personnes issues de groupes sous-représentés pour étudier le deep learning à plein temps pendant 3 mois et publier un projet en open source.
OpenAI annonce l'open source d'OpenAI Baselines, son effort interne pour reproduire des algorithmes d'apprentissage par renforcement avec des performances comparables aux résultats publiés. Les algorithmes seront publiés au cours des prochains mois ; la version du jour inclut DQN et trois de ses variantes.
Motif de la recommandation :OpenAI ouvre le code de ses implémentations d'algorithmes d'apprentissage par renforcement, avec des performances alignées sur les résultats publiés.
OpenAI annonce son soutien au lancement de Distill, une nouvelle revue consacrée à l'excellente communication des résultats en machine learning, qu'ils soient nouveaux ou existants.
OpenAI annonce la sortie d'Universe, une plateforme logicielle destinée à mesurer et entraîner l'intelligence générale d'une IA à travers les jeux.
OpenAI publie la bêta publique d'OpenAI Gym, une boîte à outils pour développer et comparer des algorithmes d'apprentissage par renforcement. Elle comprend une suite croissante d'environnements, allant de robots simulés à des jeux Atari, ainsi qu'un site pour comparer et reproduire les résultats.
Motif de la recommandation :OpenAI Gym passe en bêta publique avec une suite d'environnements et un site de comparaison, ce qui donne un point de départ concret pour l'apprentissage par renforcement.