OpenAI annonce avoir entraîné des modèles de langage bien meilleurs que GPT-3 pour suivre les intentions des utilisateurs.
Motif de la recommandation :OpenAI déploie InstructGPT comme modèle par défaut de son API, avec des améliorations sur le suivi des instructions, la véracité et la toxicité.
OpenAI annonce l'ajout d'embeddings, un nouveau point d'accès dans l'API OpenAI.
Motif de la recommandation :L'original présente un nouveau point d'accès API pour les embeddings, ce qui permet de juger comment intégrer recherche sémantique et classification dans les flux existants.
OpenAI présente la personnalisation de GPT-3 pour votre application, avec un fine-tuning réalisable en une seule commande.
OpenAI annonce le lancement de l'OpenAI Residency.
L'API d'OpenAI est désormais disponible sans liste d'attente, une ouverture rendue possible par des progrès en matière de sécurité.
OpenAI a entraîné un système qui résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un modèle GPT-3 fine-tuné. Sur un test issu de son jeu de données, le système a obtenu 55 %, contre 60 % pour un petit échantillon d'enfants de 9 à 12 ans, soit environ 90 % du nombre de problèmes résolus par ces enfants.
Motif de la recommandation :Un système entraîné par OpenAI résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un GPT-3 fine-tuné, et atteint 55 % contre 60 % pour des enfants de 9 à 12 ans.
OpenAI présente une méthode de résumé de livres reposant sur le retour humain, destinée à étendre la supervision humaine des systèmes d'IA pour des tâches difficiles à évaluer.
OpenAI annonce la nomination de Helen Toner à son conseil d'administration. Helen Toner rejoint ainsi l'instance de gouvernance de l'entreprise.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
OpenAI publie Triton 1.0, un langage de programmation open source de type Python qui permet aux chercheurs sans expérience CUDA d'écrire du code GPU très efficace.
Motif de la recommandation :Triton 1.0 permet aux chercheurs sans expérience CUDA d'écrire du code GPU efficace, ce qui abaisse le seuil de programmation GPU.
OpenAI publie une évaluation des grands modèles de langage entraînés sur du code. Le contenu détaillé de cette évaluation n'est pas disponible.
OpenAI montre qu'un fine-tuning sur un petit dataset curé suffit à améliorer le comportement d'un modèle de langage sur des valeurs comportementales spécifiques. La méthode repose sur un dataset restreint et sélectionné, plutôt que sur un volume massif de données.
La promotion 2021 du programme OpenAI Scholars a achevé son mentorat de six mois et publié un projet de recherche open source, avec bourses et soutien d'OpenAI.
Will Hurd, ancien membre du Congrès, rejoint le conseil d'administration d'OpenAI. OpenAI justifie cette nomination par la nécessité de disposer d'une expertise en politique publique en plus de la technologie pour développer une intelligence artificielle générale bénéficiant à toute l'humanité.
Plus de 300 applications fournissent via l'API d'OpenAI des fonctions d'IA telles que la recherche, la conversation et la complétion de texte basées sur GPT-3.
OpenAI indique avoir découvert dans CLIP des neurones qui réagissent au même concept qu'il soit présenté de façon littérale.
Motif de la recommandation :L'article explique comment les neurones multimodaux de CLIP répondent à un même concept sous différentes formes, ce qui aide à comprendre les biais du modèle.
OpenAI a étendu ses clusters Kubernetes à 7 500 nœuds, fournissant une infrastructure évolutive pour les grands modèles comme GPT-3.
OpenAI annonce avoir entraîné un réseau neuronal nommé DALL·E qui crée des images à partir de légendes textuelles, pour une large gamme de concepts exprimables en langage naturel.
Motif de la recommandation :Un réseau neuronal nommé DALL·E génère des images à partir de légendes textuelles, ce qui permet de situer le jalon de la génération texte-image.
OpenAI présente CLIP, un réseau de neurones qui apprend efficacement des concepts visuels à partir d'une supervision en langage naturel. CLIP peut être appliqué à n'importe quel benchmark de classification visuelle en fournissant simplement les noms des catégories à reconnaître, à la manière des capacités zero-shot de GPT-2 et GPT-3.
OpenAI a accepté d'accorder à Microsoft une licence de GPT-3 pour ses propres produits et services.
OpenAI publie des travaux sur la modélisation générative du langage appliquée à la démonstration automatique de théorèmes.
La troisième promotion des OpenAI Scholars a présenté ses projets finaux lors d'un Demo Day virtuel, exposant les résultats de recherche de plus de cinq mois.
OpenAI co-organise deux compétitions à NeurIPS 2020 avec AIcrowd, Carnegie Mellon University et DeepMind, s'appuyant sur Procgen Benchmark et MineRL.
OpenAI annonce la publication d'une API permettant d'accéder aux nouveaux modèles d'IA développés par OpenAI.
OpenAI publie une analyse montrant que depuis 2012.
Motif de la recommandation :L'analyse quantifie la baisse du calcul d'entraînement sur ImageNet depuis 2012 et la compare à la loi de Moore, offrant un repère concret sur le progrès algorithmique.
OpenAI présente Jukebox, un réseau de neurones qui génère de la musique en audio brut.
Motif de la recommandation :Présente la génération de musique en audio brut et la mise à disposition des poids et du code, utile pour comprendre les capacités des modèles génératifs audio.
OpenAI présente OpenAI Microscope, une collection de visualisations de chaque couche et neurone significatifs de huit « organismes modèles » de vision souvent étudiés en interprétabilité. L'outil vise à faciliter l'analyse des caractéristiques qui se forment à l'intérieur de ces réseaux neuronaux et à aider la communauté de recherche à mieux comprendre ces systèmes complexes.
OpenAI annonce standardiser son framework d'apprentissage profond sur PyTorch.
OpenAI montre que le phénomène de double descent se produit dans les CNNs, les ResNets et les transformers.
OpenAI publie Safety Gym, une suite d'environnements et d'outils destinée à mesurer les progrès vers des agents d'apprentissage par renforcement qui respectent des contraintes de sécurité pendant l'entraînement.
OpenAI publie la plus grande version de GPT-2, avec 1,5 milliard de paramètres.
Motif de la recommandation :La publication de la version complète de GPT-2 1.5B et de ses poids permet de comprendre le processus de publication échelonnée et ses implications pour la détection des sorties.
OpenAI ouvre les candidatures pour la troisième promotion de son programme OpenAI Scholars.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI a mis au point une méthode évaluant si un classifieur de réseau de neurones peut résister à des attaques adversariales non vues pendant l'entraînement. Elle introduit une nouvelle métrique, UAR (Unforeseen Attack Robustness), qui mesure la robustesse d'un modèle unique face à une attaque imprévue. Ces travaux soulignent la nécessité d'évaluer les performances sur un éventail plus diversifié d'attaques imprévues.
OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.
Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.
Microsoft investit 1 milliard de dollars dans OpenAI pour soutenir la construction d'une intelligence artificielle générale (AGI) aux bénéfices économiques largement distribués. Les deux entreprises s'associent pour développer sur Microsoft Azure une plateforme matérielle et logicielle évolutive vers l'AGI, et développeront conjointement de nouvelles technologies de supercalcul Azure AI. Microsoft devient le fournisseur cloud exclusif d'OpenAI.
OpenAI a publié un document de recherche politique identifiant quatre stratégies pour renforcer la coopération industrielle à long terme sur les normes de sécurité en IA.
OpenAI a organisé le premier OpenAI Robotics Symposium le 27 avril 2019. L'événement a réuni la communauté autour de la robotique.
La deuxième promotion d'OpenAI Scholars a achevé son programme, les huit boursiers ayant présenté leur projet final lors du Scholars Demo Day organisé chez OpenAI.
OpenAI a clôturé la deuxième promotion de son programme OpenAI Fellows.