OpenAI Spinning Up in Deep RL : retour sur le premier atelier
OpenAI a organisé le 2 février son premier Spinning Up Workshop, dans le cadre de sa nouvelle initiative éducative. L'atelier s'inscrit dans le programme Spinning Up consacré au deep RL.
OpenAI a organisé le 2 février son premier Spinning Up Workshop, dans le cadre de sa nouvelle initiative éducative. L'atelier s'inscrit dans le programme Spinning Up consacré au deep RL.
OpenAI publie un article affirmant que la recherche sur la sécurité à long terme de l'IA a besoin des sciences sociales pour garantir le succès des algorithmes d'alignement lorsque de vrais humains sont impliqués. L'alignement des systèmes d'IA avancés sur les valeurs humaines exige de lever de nombreuses incertitudes liées à la psychologie de la rationalité, aux émotions et aux biais humains. OpenAI prévoit de recruter des chercheurs en sciences sociales pour travailler à plein temps sur ce sujet.
OpenAI a découvert que le gradient noise scale, une métrique statistique simple.
OpenAI publie CoinRun, un environnement d'entraînement qui fournit une métrique pour mesurer la capacité d'un agent à transférer son expérience vers des situations nouvelles. CoinRun a déjà contribué à clarifier un puzzle de longue date en apprentissage par renforcement. L'environnement se situe à un niveau de complexité intermédiaire : plus simple que des jeux de plateforme traditionnels comme Sonic the Hedgehog, mais suffisamment exigeant pour constituer un défi de généralisation pour les algorithmes de pointe.
OpenAI publie Spinning Up in Deep RL, une ressource éducative conçue pour permettre à quiconque d'apprendre à devenir praticien du deep reinforcement learning. Elle comprend des exemples clairs de code RL, des exercices pédagogiques, de la documentation et des tutoriels.
OpenAI a mis au point un modèle à base d'énergie capable d'apprendre à identifier et générer des instances de concepts — comme near.
OpenAI propose une technique de sûreté de l'IA appelée iterated amplification.
OpenAI ouvre les candidatures pour la deuxième promotion de son programme OpenAI Scholars.
La première promotion d'OpenAI Scholars a achevé le programme. Les projets finaux de cette cohorte 2018 sont présentés par OpenAI.
OpenAI Five a perdu deux parties contre des joueurs de Dota 2 de haut niveau à The International à Vancouver cette semaine.
Hier, OpenAI Five a remporté un best-of-three face à une équipe de joueurs de Dota classés au 99.
OpenAI indique avoir entraîné une main robotique humanoïde à manipuler des objets physiques avec une dextérité inédite.
OpenAI a lancé la première promotion de son programme OpenAI Scholars.
Le match de benchmark OpenAI Five est terminé.
OpenAI présente Glow, un modèle génératif réversible qui utilise des convolutions 1x1 inversibles. Il étend les travaux antérieurs sur les modèles génératifs réversibles et simplifie l'architecture. Le modèle peut générer des images réalistes à haute résolution, prend en charge un échantillonnage efficace et découvre des caractéristiques permettant de manipuler les attributs des données. Le code du modèle et un outil de visualisation en ligne sont publiés.
OpenAI a entraîné un agent à atteindre un score élevé de 74 500 sur Montezuma's Revenge à partir d'une seule démonstration humaine.
Motif de la recommandation :L'article explique comment un agent atteint 74 500 points sur Montezuma's Revenge à partir d'une seule démonstration, avec un algorithme simple fondé sur PPO.
L'équipe de cinq réseaux neuronaux OpenAI Five a commencé à battre des équipes humaines amateurs sur Dota 2.
OpenAI a achevé la première édition du Retro Contest.
OpenAI a obtenu des résultats de pointe sur une série de tâches linguistiques variées avec un système évolutif et agnostique à la tâche.
OpenAI ouvre les candidatures pour la prochaine cohorte de son programme OpenAI Fellows.
OpenAI publie la version complète de Gym Retro, une plateforme de recherche en apprentissage par renforcement sur les jeux. Le nombre de jeux publics passe d'environ 70 jeux Atari et 30 jeux Sega à plus de 1000 jeux couvrant plusieurs émulateurs sous-jacents. OpenAI publie également l'outil utilisé pour ajouter de nouveaux jeux à la plateforme.
Motif de la recommandation :OpenAI ouvre une plateforme d'apprentissage par renforcement sur plus de 1000 jeux et publie l'outil d'ajout de jeux, ce qui permet de mesurer l'évolution de l'échelle des environnements disponibles.
OpenAI publie une analyse montrant que depuis 2012, la quantité de calcul utilisée dans les plus grands entraînements d'IA croît de façon exponentielle avec un temps de doublement de 3.
Motif de la recommandation :L'analyse quantifie la croissance exponentielle du calcul d'entraînement depuis 2012 et son rythme de doublement, un repère pour situer les capacités des futurs systèmes.
OpenAI propose une technique de sécurité de l'IA qui entraîne des agents à débattre entre eux sur un sujet, un humain jugeant qui gagne.
Motif de la recommandation :L'article expose une piste d'alignement où des agents débattent sous supervision humaine, utile pour situer les approches de sécurité de l'IA.
OpenAI lance le Retro Contest, un concours de transfert d'apprentissage qui mesure la capacité d'un algorithme de reinforcement learning à généraliser à partir d'expériences antérieures. Le concours évalue donc la généralisation, et non l'apprentissage sur une tâche unique.
OpenAI a développé Reptile, un algorithme de méta-apprentissage scalable qui échantillonne répétitivement une tâche.
OpenAI lance OpenAI Scholars, un programme offrant 6 à 10 bourses et un mentorat à des personnes issues de groupes sous-représentés pour étudier le deep learning à plein temps pendant 3 mois et publier un projet en open source.
OpenAI met à disposition huit environnements de robotique simulée ainsi qu'une implémentation Baselines de Hindsight Experience Replay.
OpenAI annonce avoir co-écrit un article qui anticipe la manière dont des acteurs malveillants pourraient détourner la technologie IA.
OpenAI a conçu une méthode qui encourage les IA à s'enseigner mutuellement à l'aide d'exemples compréhensibles pour les humains. L'approche sélectionne automatiquement les exemples les plus informatifs pour enseigner un concept, comme les meilleures images pour décrire la notion de chien. Les expériences menées montrent que cette méthode est efficace pour enseigner aussi bien aux IA qu'aux humains.
OpenAI a construit un système qui détermine automatiquement à quel objet renvoie un mot en faisant décider à un réseau de neurones si ce mot appartient à chacun d'environ 100 « types » découverts automatiquement, des catégories non exclusives.
OpenAI a mis au point un algorithme d'apprentissage par renforcement hiérarchique qui apprend des actions de haut niveau utiles pour résoudre une gamme de tâches.
OpenAI a mis au point des techniques de robotique permettant à des contrôleurs de robots.
OpenAI a découvert que l'auto-jeu permet à des IA simulées d'acquérir des compétences physiques comme le plaquage.
OpenAI publie Learning with Opponent-Learning Awareness (LOLA).
OpenAI publie deux nouvelles implémentations dans OpenAI Baselines : ACKTR et A2C. A2C est une variante synchrone et déterministe de Asynchronous Advantage Actor Critic (A3C).
OpenAI a créé un bot qui bat les meilleurs joueurs professionnels du monde lors de matchs 1v1 de Dota 2 selon les règles standard des tournois. Le bot a appris le jeu à partir de zéro par auto-apprentissage, sans utiliser d'apprentissage par imitation ni de recherche arborescente. OpenAI présente cette avancée comme une étape vers la construction de systèmes d'IA capables d'accomplir des objectifs bien définis dans des situations complexes et désordonnées impliquant de vrais humains.
Motif de la recommandation :L'article explique comment un bot a appris Dota 2 par auto-apprentissage et a battu des joueurs professionnels, ce qui permet de comprendre les capacités et les limites de l'apprentissage autonome dans des environnements complexes.
OpenAI a publié RL-Teacher, une implémentation open source de son interface permettant d'entraîner des IA via des retours humains occasionnels plutôt que des fonctions de récompense écrites à la main. La technique sous-jacente a été développée comme une étape vers des systèmes d'IA sûrs, et s'applique aussi aux problèmes d'apprentissage par renforcement dont les récompenses sont difficiles à spécifier.
OpenAI a constaté que l'ajout d'un bruit adaptatif aux paramètres des algorithmes d'apprentissage par renforcement améliore fréquemment les performances. Cette méthode d'exploration est simple à implémenter et ne dégrade que très rarement les résultats, ce qui la rend intéressante à tester sur tout problème.
OpenAI a créé des images qui trompent de manière fiable les classifieurs de réseaux neuronaux lorsqu'elles sont vues sous différentes échelles et perspectives. Cela remet en question l'affirmation de la semaine dernière selon laquelle les voitures autonomes seraient difficiles à tromper malveillamment, car elles capturent des images sous plusieurs échelles, angles et perspectives.
OpenAI open source une bibliothèque Python haute performance dédiée à la simulation robotique, basée sur le moteur MuJoCo et issue d'un an de recherche en robotique.