OpenAI : résumer des livres grâce au retour humain
OpenAI présente une méthode de résumé de livres reposant sur le retour humain, destinée à étendre la supervision humaine des systèmes d'IA pour des tâches difficiles à évaluer.
OpenAI présente une méthode de résumé de livres reposant sur le retour humain, destinée à étendre la supervision humaine des systèmes d'IA pour des tâches difficiles à évaluer.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
OpenAI publie une évaluation des grands modèles de langage entraînés sur du code. Le contenu détaillé de cette évaluation n'est pas disponible.
OpenAI montre qu'un fine-tuning sur un petit dataset curé suffit à améliorer le comportement d'un modèle de langage sur des valeurs comportementales spécifiques. La méthode repose sur un dataset restreint et sélectionné, plutôt que sur un volume massif de données.
L'auteur teste sur sa VORON 0 les limites d'extrusion d'une buse Mosquito standard et Magnum.
Motif de la recommandation :L'auteur mesure lui-même débit d'extrusion, effet de la chaussette silicone et différences entre matériaux, ce qui fournit des repères concrets pour diagnostiquer une imprimante rapide.
La promotion 2021 du programme OpenAI Scholars a achevé son mentorat de six mois et publié un projet de recherche open source, avec bourses et soutien d'OpenAI.
BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.
Hugging Face consacre son reading group de février 2021 aux Transformers à longue portée.
OpenAI indique avoir découvert dans CLIP des neurones qui réagissent au même concept qu'il soit présenté de façon littérale.
Motif de la recommandation :L'article explique comment les neurones multimodaux de CLIP répondent à un même concept sous différentes formes, ce qui aide à comprendre les biais du modèle.
OpenAI présente CLIP, un réseau de neurones qui apprend efficacement des concepts visuels à partir d'une supervision en langage naturel. CLIP peut être appliqué à n'importe quel benchmark de classification visuelle en fournissant simplement les noms des catégories à reconnaître, à la manière des capacités zero-shot de GPT-2 et GPT-3.
Le notebook Hugging Face détaille comment initialiser à chaud (warm-start) des modèles encodeur-décodeur à partir de checkpoints pré-entraînés de type BERT ou GPT2.
CNC Kitchen a testé la refonte dans le sel de pièces imprimées en PLA, PLA+, PETG et ABS.
Motif de la recommandation :Des essais mesurés sur PLA, PETG et ABS quantifient l'amélioration de l'adhérence entre couches et les limites du refroidissement dans le sel.
CNC Kitchen a testé le recuit d'impressions 3D noyées dans du plâtre pour améliorer l'adhésion entre couches. Les échantillons PETG ont atteint une résistance moyenne de 100 kg.
OpenAI publie des travaux sur la modélisation générative du langage appliquée à la démonstration automatique de théorèmes.
CNC Kitchen a testé un filament PC-Core ABS fabriqué maison, composé d'une âme en polycarbonate et d'une enveloppe en ABS.
La troisième promotion des OpenAI Scholars a présenté ses projets finaux lors d'un Demo Day virtuel, exposant les résultats de recherche de plus de cinq mois.
Le blog Hugging Face détaille les quatre optimisations mémoire du Reformer, un modèle Transformer capable de traiter jusqu'à un demi-million de tokens en une seule passe.
OpenAI co-organise deux compétitions à NeurIPS 2020 avec AIcrowd, Carnegie Mellon University et DeepMind, s'appuyant sur Procgen Benchmark et MineRL.
CNC Kitchen compare cinq méthodes pour ajouter des filetages métalliques à des pièces imprimées en 3D en PETG.
Motif de la recommandation :Des essais de couple et d'arrachement comparent cinq méthodes de filetage sur pièces imprimées en PETG, avec calculs de résistance à l'appui.
OpenAI publie une analyse montrant que depuis 2012.
Motif de la recommandation :L'analyse quantifie la baisse du calcul d'entraînement sur ImageNet depuis 2012 et la compare à la loi de Moore, offrant un repère concret sur le progrès algorithmique.
OpenAI présente OpenAI Microscope, une collection de visualisations de chaque couche et neurone significatifs de huit « organismes modèles » de vision souvent étudiés en interprétabilité. L'outil vise à faciliter l'analyse des caractéristiques qui se forment à l'intérieur de ces réseaux neuronaux et à aider la communauté de recherche à mieux comprendre ces systèmes complexes.
CNC Kitchen a imprimé des éprouvettes de traction dans dix matériaux d'impression 3D courants (PLA.
Motif de la recommandation :Des tests de résistance sur dix matériaux d'impression 3D immergés 48 h dans l'IPA 70 % montrent quels filaments perdent le plus de rigidité.
CNC Kitchen présente une méthode de remplissage à gradient pour l'impression 3D FDM.
Motif de la recommandation :Un ingénieur mécanique partage un script Python open source qui post-traite le G-code CURA pour moduler la densité de remplissage selon la distance aux parois.
OpenAI montre que le phénomène de double descent se produit dans les CNNs, les ResNets et les transformers.
CNC Kitchen a imprimé des crochets d'essai sur une Original Prusa i3 MK3S avec des buses de 0.
Motif de la recommandation :Des essais mécaniques comparant buses de 0,4 mm et 0,8 mm montrent que le gain de résistance vient du matériau déposé, pas d'une meilleure liaison entre couches.
OpenAI publie Safety Gym, une suite d'environnements et d'outils destinée à mesurer les progrès vers des agents d'apprentissage par renforcement qui respectent des contraintes de sécurité pendant l'entraînement.
CNC Kitchen a testé des largeurs d'extrusion de 90 % à 250 % du diamètre de buse (0.
Motif de la recommandation :Des tests contrôlés quantifient l'effet de la largeur d'extrusion sur l'adhésion entre couches et la résistance des pièces imprimées.
OpenAI ouvre les candidatures pour la troisième promotion de son programme OpenAI Scholars.
CNC Kitchen a testé six hauteurs de couche (0,05 mm, 0,1 mm, 0,15 mm, 0,2 mm, 0.
Le recuit du PLA apporte environ 7,5 % de résistance ultime en traction (63,5 MPa à 68.
Motif de la recommandation :Des essais mesurés sur le PLA recuit montrent un gain de résistance en traction d'environ 7,5 % et une adhésion entre couches inchangée, ce qui aide à calibrer les attentes.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI a mis au point une méthode évaluant si un classifieur de réseau de neurones peut résister à des attaques adversariales non vues pendant l'entraînement. Elle introduit une nouvelle métrique, UAR (Unforeseen Attack Robustness), qui mesure la robustesse d'un modèle unique face à une attaque imprévue. Ces travaux soulignent la nécessité d'évaluer les performances sur un éventail plus diversifié d'attaques imprévues.
OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.
Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.
OpenAI a publié un document de recherche politique identifiant quatre stratégies pour renforcer la coopération industrielle à long terme sur les normes de sécurité en IA.
La deuxième promotion d'OpenAI Scholars a achevé son programme, les huit boursiers ayant présenté leur projet final lors du Scholars Demo Day organisé chez OpenAI.
OpenAI a créé MuseNet, un réseau neuronal profond capable de générer des compositions musicales de 4 minutes avec 10 instruments différents et de combiner des styles allant de la country à Mozart en passant par les Beatles. MuseNet n'a pas été programmé explicitement avec une compréhension musicale, mais a découvert des motifs d'harmonie, de rythme et de style en apprenant à prédire le token suivant dans des centaines de milliers de fichiers MIDI. Il utilise la même technologie non supervisée généraliste que GPT-2, un grand modèle Transformer entraîné à prédire le token suivant dans une séquence, qu'il s'agisse d'audio ou de texte.
Motif de la recommandation :MuseNet montre comment une architecture Transformer généraliste, celle de GPT-2, peut être réutilisée pour générer de la musique sur des fichiers MIDI.
OpenAI Five est la première IA à battre les champions du monde d'un jeu esport, en remportant deux parties consécutives face à l'équipe championne du monde de Dota 2.
OpenAI dévoile les huit boursiers de sa promotion Scholars 2019, sélectionnés parmi 550 candidats. Leurs expertises couvrent la littérature.
OpenAI a créé les activation atlases, en collaboration avec des chercheurs de Google.
OpenAI publie Neural MMO, un environnement de jeu massivement multiagent destiné aux agents d'apprentissage par renforcement. La plateforme prend en charge un nombre important et variable d'agents dans une tâche persistante et ouverte, et l'inclusion de nombreux agents et espèces favorise une meilleure exploration, la formation de niches divergentes et une compétence globale accrue.