Orientations techniques
Sécurité et alignement de l'IA : jailbreak et défenses, recherche sur le comportement des modèles, évaluations de sécurité et cadres de gouvernance.
147 sélections30 derniers jours 53 entréesTotal : 414 entrées
OpenAI annonce avoir entraîné des modèles de langage bien meilleurs que GPT-3 pour suivre les intentions des utilisateurs.
Motif de la recommandation :OpenAI déploie InstructGPT comme modèle par défaut de son API, avec des améliorations sur le suivi des instructions, la véracité et la toxicité.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
OpenAI publie la plus grande version de GPT-2, avec 1,5 milliard de paramètres.
Motif de la recommandation :La publication de la version complète de GPT-2 1.5B et de ses poids permet de comprendre le processus de publication échelonnée et ses implications pour la détection des sorties.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.
Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.
OpenAI propose une technique de sécurité de l'IA qui entraîne des agents à débattre entre eux sur un sujet, un humain jugeant qui gagne.
Motif de la recommandation :L'article expose une piste d'alignement où des agents débattent sous supervision humaine, utile pour situer les approches de sécurité de l'IA.
OpenAI annonce avoir co-écrit un article qui anticipe la manière dont des acteurs malveillants pourraient détourner la technologie IA.