Orientations techniques
Sécurité et alignement de l'IA : jailbreak et défenses, recherche sur le comportement des modèles, évaluations de sécurité et cadres de gouvernance.
189 sélections30 derniers jours 95 entréesTotal : 498 entrées
OpenAI présente les mesures de pré-entraînement de DALL·E 2.
Motif de la recommandation :L'article expose les garde-fous mis en place avant l'ouverture de DALL·E 2, un cas concret de réduction des risques d'un modèle de génération d'images.
OpenAI indique avoir entraîné des modèles de rédaction de critiques chargés de décrire les défauts dans les résumés. Les évaluateurs humains repèrent beaucoup plus souvent ces défauts lorsqu'on leur montre les critiques du modèle. Les modèles plus grands sont meilleurs pour s'autocritiquer, et l'augmentation d'échelle améliore davantage la rédaction de critiques que la rédaction de résumés. Cela ouvre une piste pour que des systèmes d'IA assistent la supervision humaine d'autres systèmes d'IA sur des tâches difficiles.
Motif de la recommandation :Un modèle de rédaction de critiques aide les évaluateurs humains à repérer davantage de défauts dans les résumés, et l'échelle améliore davantage la critique que la rédaction.
OpenAI annonce avoir entraîné des modèles de langage bien meilleurs que GPT-3 pour suivre les intentions des utilisateurs.
Motif de la recommandation :OpenAI déploie InstructGPT comme modèle par défaut de son API, avec des améliorations sur le suivi des instructions, la véracité et la toxicité.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
OpenAI publie la plus grande version de GPT-2, avec 1,5 milliard de paramètres.
Motif de la recommandation :La publication de la version complète de GPT-2 1.5B et de ses poids permet de comprendre le processus de publication échelonnée et ses implications pour la détection des sorties.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.
Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.
OpenAI propose une technique de sécurité de l'IA qui entraîne des agents à débattre entre eux sur un sujet, un humain jugeant qui gagne.
Motif de la recommandation :L'article expose une piste d'alignement où des agents débattent sous supervision humaine, utile pour situer les approches de sécurité de l'IA.
OpenAI annonce avoir co-écrit un article qui anticipe la manière dont des acteurs malveillants pourraient détourner la technologie IA.