OpenAI perturbe des usages malveillants de l'IA par des acteurs menaçants liés à des États
OpenAI publie un article intitulé « Disrupting malicious uses of AI by state-affiliated threat actors ».
OpenAI publie un article intitulé « Disrupting malicious uses of AI by state-affiliated threat actors ».
Le CERT-FR publie une alerte sur la vulnérabilité critique CVE-2024-21762 affectant le VPN SSL de FortiOS.
Motif de la recommandation :Le CERT-FR signale des codes d'exploitation publics pour CVE-2024-21762 et recommande de désactiver le VPN SSL en l'absence de correctif.
Hugging Face publie une recette de bout en bout pour appliquer le Constitutional AI (CAI) aux modèles ouverts.
Motif de la recommandation :L'article fournit une recette complète d'alignement Constitutional AI avec des modèles ouverts, incluant datasets, modèles et outil de génération à grande échelle.
OpenAI développe un cadre d'évaluation du risque qu'un grand modèle de langage (LLM) aide une personne à créer une menace biologique. Dans une évaluation menée avec des experts en biologie et des étudiants, GPT-4 n'apporte au plus qu'une légère amélioration de la précision en matière de création de menaces biologiques. OpenAI précise que cette amélioration n'est pas assez importante pour être concluante, mais que ce résultat constitue un point de départ pour poursuivre la recherche et la réflexion communautaire.
Motif de la recommandation :OpenAI expose un cadre d'évaluation du risque biologique lié aux LLM et publie les résultats préliminaires sur GPT-4, utiles pour situer les travaux de sécurité.
Hugging Face présente le Hallucinations Leaderboard, une plateforme ouverte évaluant les LLM sur des benchmarks dédiés aux hallucinations via in-context learning.
Hugging Face publie un nouveau LLM Safety Leaderboard dédié à l'évaluation de la sécurité des LLM.
OpenAI détaille son approche pour les élections mondiales de 2024, axée sur la prévention des abus.
OpenAI annonce le lancement de Superalignment Fast Grants.
OpenAI développe son approche de préparation aux risques catastrophiques liés aux systèmes d'IA hautement capables.
OpenAI, Anthropic, Google et Microsoft annoncent le nouveau directeur exécutif du Frontier Model Forum ainsi qu'un nouveau fonds de 10 M$ dédié à la sécurité de l'IA.
OpenAI publie la fiche système de DALL·E 3.
Hugging Face a porté ses positions sur l'éthique de l'IA auprès des législateurs de l'UE.
OpenAI annonce un appel ouvert pour rejoindre son Red Teaming Network.
OpenAI utilise GPT-4 pour l'élaboration des politiques de contenu et les décisions de modération.
Motif de la recommandation :L'article explique comment GPT-4 est utilisé pour l'élaboration des politiques de contenu et les décisions de modération, avec des bénéfices concrets sur la cohérence et la rapidité.
Zama démontre qu'il est possible d'exécuter une partie de l'inférence d'un LLM sur des données chiffrées grâce au chiffrement homomorphe complet (FHE).
OpenAI annonce la création d'une nouvelle instance sectorielle, le Frontier Model Forum.
Motif de la recommandation :L'original expose la création d'une instance sectorielle et ses missions, ce qui permet de situer les orientations de gouvernance de l'IA de pointe.
OpenAI et d'autres laboratoires de premier plan renforcent la sécurité.
Hugging Face consacre le quatrième numéro de sa newsletter Ethics and Society aux sources de biais dans les modèles text-to-image.
OpenAI annonce un programme de subventions destiné à financer le développement de capacités de cybersécurité assistées par IA pour les défenseurs. L'initiative vise à soutenir les équipes de défense via des financements et d'autres formes d'appui.
OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.
Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.
OpenAI, Inc. lance un programme doté de dix subventions de 100 000 dollars chacune pour financer des expériences visant à mettre en place un processus démocratique chargé de définir les règles que les systèmes d'IA doivent suivre, dans les limites fixées par la loi. L'organisation à but non lucratif précise que ces expériences porteront sur la détermination des règles applicables aux systèmes d'IA.
Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors.
Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.
OpenAI estime qu'il est temps de commencer à réfléchir à la gouvernance de la superintelligence.
OpenAI lance un programme de bug bounty pour faire appel à la communauté dans l'identification des vulnérabilités de ses technologies. L'initiative s'inscrit dans l'engagement de l'entreprise à développer une IA sûre et avancée, ainsi qu'à créer des technologies et services sécurisés, fiables et dignes de confiance.
OpenAI expose son approche pour garantir que les systèmes d'IA sont construits, déployés et utilisés de manière sûre, un point qu'elle juge essentiel à sa mission.
Hugging Face détaille dans sa newsletter #3 son approche d'une ouverture éthique du ML.
Hugging Face annonce la publication d'un cadre éthique dans la documentation de sa bibliothèque Diffusers.
OpenAI a publié un article intitulé Planning for AGI and beyond, affirmant que sa mission est de faire en sorte que l'intelligence artificielle générale.
Le red-teaming des LLM consiste à concevoir des prompts déclenchant des comportements nuisibles — divulgation d'informations personnelles.
OpenAI précise comment le comportement de ChatGPT est façonné et annonce ses plans pour l'améliorer.
Hugging Face a publié une analyse des techniques derrière ChatGPT — RLHF, IFT, CoT.
Hugging Face publie le deuxième numéro de sa newsletter Éthique et Société consacré aux biais en machine learning.
Hugging Face détaille le fonctionnement du Reinforcement Learning from Human Feedback (RLHF).
Hugging Face ajoute à la bibliothèque 🤗 Evaluate des métriques et mesures de biais.
Hugging Face lance une newsletter trimestrielle « Ethics and Society », publiée à chaque équinoxe et solstice.
Hugging Face soutient OpenRAIL, une famille de licences spécifiques à l'IA qui permettent l'accès.
OpenAI déclare améliorer la capacité de ses systèmes d'IA à apprendre des retours humains et à aider les humains à évaluer l'IA. L'objectif affiché est de construire un système d'IA suffisamment aligné pour aider à résoudre tous les autres problèmes d'alignement.
OpenAI met à disposition des développeurs de l'API OpenAI un nouvel endpoint Moderation.
OpenAI annonce la mise en œuvre d'une nouvelle technique afin que DALL·E génère des images de personnes reflétant plus fidèlement la diversité de la population mondiale. Cette mise à jour s'inscrit dans les efforts de réduction des biais et d'amélioration de la sécurité du modèle.
OpenAI présente les mesures de pré-entraînement de DALL·E 2.
Motif de la recommandation :L'article expose les garde-fous mis en place avant l'ouverture de DALL·E 2, un cas concret de réduction des risques d'un modèle de génération d'images.