Hugging Face newsletter #3 : l'ouverture éthique chez Hugging Face
Hugging Face détaille dans sa newsletter #3 son approche d'une ouverture éthique du ML.
Hugging Face détaille dans sa newsletter #3 son approche d'une ouverture éthique du ML.
Hugging Face annonce la publication d'un cadre éthique dans la documentation de sa bibliothèque Diffusers.
OpenAI a publié un article intitulé Planning for AGI and beyond, affirmant que sa mission est de faire en sorte que l'intelligence artificielle générale.
Le red-teaming des LLM consiste à concevoir des prompts déclenchant des comportements nuisibles — divulgation d'informations personnelles.
OpenAI précise comment le comportement de ChatGPT est façonné et annonce ses plans pour l'améliorer.
Hugging Face a publié une analyse des techniques derrière ChatGPT — RLHF, IFT, CoT.
Hugging Face publie le deuxième numéro de sa newsletter Éthique et Société consacré aux biais en machine learning.
Hugging Face détaille le fonctionnement du Reinforcement Learning from Human Feedback (RLHF).
Hugging Face ajoute à la bibliothèque 🤗 Evaluate des métriques et mesures de biais.
Hugging Face lance une newsletter trimestrielle « Ethics and Society », publiée à chaque équinoxe et solstice.
Hugging Face soutient OpenRAIL, une famille de licences spécifiques à l'IA qui permettent l'accès.
OpenAI déclare améliorer la capacité de ses systèmes d'IA à apprendre des retours humains et à aider les humains à évaluer l'IA. L'objectif affiché est de construire un système d'IA suffisamment aligné pour aider à résoudre tous les autres problèmes d'alignement.
OpenAI met à disposition des développeurs de l'API OpenAI un nouvel endpoint Moderation.
OpenAI annonce la mise en œuvre d'une nouvelle technique afin que DALL·E génère des images de personnes reflétant plus fidèlement la diversité de la population mondiale. Cette mise à jour s'inscrit dans les efforts de réduction des biais et d'amélioration de la sécurité du modèle.
OpenAI présente les mesures de pré-entraînement de DALL·E 2.
Motif de la recommandation :L'article expose les garde-fous mis en place avant l'ouverture de DALL·E 2, un cas concret de réduction des risques d'un modèle de génération d'images.
OpenAI indique avoir entraîné des modèles de rédaction de critiques chargés de décrire les défauts dans les résumés. Les évaluateurs humains repèrent beaucoup plus souvent ces défauts lorsqu'on leur montre les critiques du modèle. Les modèles plus grands sont meilleurs pour s'autocritiquer, et l'augmentation d'échelle améliore davantage la rédaction de critiques que la rédaction de résumés. Cela ouvre une piste pour que des systèmes d'IA assistent la supervision humaine d'autres systèmes d'IA sur des tâches difficiles.
Motif de la recommandation :Un modèle de rédaction de critiques aide les évaluateurs humains à repérer davantage de défauts dans les résumés, et l'échelle améliore davantage la critique que la rédaction.
Le groupe de recherche multimodal de Hugging Face a formalisé une charte éthique pour son projet multimodal.
Hugging Face publie la deuxième partie de sa série d'entretiens avec des directeurs Machine Learning.
Margaret Mitchell, fondatrice et co-responsable du groupe Ethical AI de Google, a rejoint Hugging Face après quatre ans chez Google pour y créer des protocoles de recherche en IA éthique.
OpenAI décrit sa réflexion la plus récente sur la sécurité et les usages abusifs des modèles déployés, dans l'espoir d'aider d'autres développeurs d'IA à traiter ces questions.
OpenAI annonce avoir entraîné des modèles de langage bien meilleurs que GPT-3 pour suivre les intentions des utilisateurs.
Motif de la recommandation :OpenAI déploie InstructGPT comme modèle par défaut de son API, avec des améliorations sur le suivi des instructions, la véracité et la toxicité.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
OpenAI montre qu'un fine-tuning sur un petit dataset curé suffit à améliorer le comportement d'un modèle de langage sur des valeurs comportementales spécifiques. La méthode repose sur un dataset restreint et sélectionné, plutôt que sur un volume massif de données.
OpenAI publie Safety Gym, une suite d'environnements et d'outils destinée à mesurer les progrès vers des agents d'apprentissage par renforcement qui respectent des contraintes de sécurité pendant l'entraînement.
OpenAI publie la plus grande version de GPT-2, avec 1,5 milliard de paramètres.
Motif de la recommandation :La publication de la version complète de GPT-2 1.5B et de ses poids permet de comprendre le processus de publication échelonnée et ses implications pour la détection des sorties.
OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.
Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.
OpenAI a mis au point une méthode évaluant si un classifieur de réseau de neurones peut résister à des attaques adversariales non vues pendant l'entraînement. Elle introduit une nouvelle métrique, UAR (Unforeseen Attack Robustness), qui mesure la robustesse d'un modèle unique face à une attaque imprévue. Ces travaux soulignent la nécessité d'évaluer les performances sur un éventail plus diversifié d'attaques imprévues.
OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.
Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.
OpenAI a publié un document de recherche politique identifiant quatre stratégies pour renforcer la coopération industrielle à long terme sur les normes de sécurité en IA.
OpenAI publie un article affirmant que la recherche sur la sécurité à long terme de l'IA a besoin des sciences sociales pour garantir le succès des algorithmes d'alignement lorsque de vrais humains sont impliqués. L'alignement des systèmes d'IA avancés sur les valeurs humaines exige de lever de nombreuses incertitudes liées à la psychologie de la rationalité, aux émotions et aux biais humains. OpenAI prévoit de recruter des chercheurs en sciences sociales pour travailler à plein temps sur ce sujet.
OpenAI propose une technique de sûreté de l'IA appelée iterated amplification.
OpenAI propose une technique de sécurité de l'IA qui entraîne des agents à débattre entre eux sur un sujet, un humain jugeant qui gagne.
Motif de la recommandation :L'article expose une piste d'alignement où des agents débattent sous supervision humaine, utile pour situer les approches de sécurité de l'IA.
OpenAI annonce avoir co-écrit un article qui anticipe la manière dont des acteurs malveillants pourraient détourner la technologie IA.
OpenAI a publié RL-Teacher, une implémentation open source de son interface permettant d'entraîner des IA via des retours humains occasionnels plutôt que des fonctions de récompense écrites à la main. La technique sous-jacente a été développée comme une étape vers des systèmes d'IA sûrs, et s'applique aussi aux problèmes d'apprentissage par renforcement dont les récompenses sont difficiles à spécifier.
OpenAI a créé des images qui trompent de manière fiable les classifieurs de réseaux neuronaux lorsqu'elles sont vues sous différentes échelles et perspectives. Cela remet en question l'affirmation de la semaine dernière selon laquelle les voitures autonomes seraient difficiles à tromper malveillamment, car elles capturent des images sous plusieurs échelles, angles et perspectives.
Les exemples adversariaux sont des entrées conçues intentionnellement par un attaquant pour faire commettre une erreur au modèle d'apprentissage automatique.
OpenAI décrit un mode de défaillance des algorithmes d'apprentissage par renforcement.
OpenAI a défini ses objectifs techniques dans le cadre de sa mission : construire une IA sûre et veiller à ce que ses bénéfices soient aussi largement et équitablement répartis que possible.
Une vulnérabilité dans Apple Mac OS X 10.10.x permet une écriture arbitraire de fichier avec des privilèges élevés via la surcharge d'une variable d'environnement.