OpenAI annonce de nouvelles technologies destinées à aider les chercheurs à identifier les contenus générés par ses outils et rejoint le comité directeur de la Coalition for Content Provenance and Authenticity (C2PA) afin de promouvoir des standards industriels.
OpenAI a banni des comptes liés à l'opération d'origine russe « Doppelganger », qui utilisait l'IA pour générer des commentaires anti-Ukraine sur les réseaux sociaux。
OpenAI a banni des comptes associés à l'opération « Spamouflage » d'origine chinoise。
OpenAI a banni des comptes liés à l'opération d'origine iranienne « IUVM », qui utilisait l'IA pour générer et traduire des contenus pro-iraniens。
OpenAI封禁了一批与代号"Zero Zeno"的以色列来源影响力行动相关的账号, 该行动此前未被报道. 这些账号利用AI生成反哈马斯, 反卡塔尔, 亲以色列, 反BJP以及亲Histadrut的内容.
OpenAI 封禁了一批与代号« Bad Grammar »的俄罗斯来源行动相关的账号, 该行动利用 AI 在 Telegram 上生成英语和俄语评论, 涉及乌克兰, 摩尔多瓦, 波罗的海国家及美国政治话题. 这是此前未被报道过的俄罗斯来源影响力行动.
OpenAI 发布« The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions », 指出当前 LLM 容易受到 prompt injection, jailbreak 等攻击, 攻击者可用恶意 prompt 覆盖模型原有指令. 该研究提出通过指令层级训练, 让模型优先执行高权限指令.
Zama a mis en ligne des modèles Concrete ML pré-compilés sur Hugging Face Endpoints。
Hugging Face annonce un partenariat avec Wiz Research visant à renforcer la sécurité de sa plateforme et de l'écosystème AI/ML。
Lighthouz AI lance la Chatbot Guardrails Arena en collaboration avec Hugging Face。
Hugging Face détaille dans un article les méthodes de watermarking des contenus générés par IA。
Haize Labs annonce le Red Teaming Resistance Benchmark, un classement évaluant la robustesse des LLM face à des attaques humaines de type jailbreak。
OpenAI publie un article intitulé « Disrupting malicious uses of AI by state-affiliated threat actors »。
Hugging Face publie une recette de bout en bout pour appliquer le Constitutional AI (CAI) aux modèles ouverts。
Motif de la recommandation :L'article fournit une recette complète d'alignement Constitutional AI avec des modèles ouverts, incluant datasets, modèles et outil de génération à grande échelle.
OpenAI développe un cadre d'évaluation du risque qu'un grand modèle de langage (LLM) aide une personne à créer une menace biologique. Dans une évaluation menée avec des experts en biologie et des étudiants, GPT-4 n'apporte au plus qu'une légère amélioration de la précision en matière de création de menaces biologiques. OpenAI précise que cette amélioration n'est pas assez importante pour être concluante, mais que ce résultat constitue un point de départ pour poursuivre la recherche et la réflexion communautaire.
Motif de la recommandation :OpenAI expose un cadre d'évaluation du risque biologique lié aux LLM et publie les résultats préliminaires sur GPT-4, utiles pour situer les travaux de sécurité.
Hugging Face présente le Hallucinations Leaderboard, une plateforme ouverte évaluant les LLM sur des benchmarks dédiés aux hallucinations via in-context learning。
Hugging Face publie un nouveau LLM Safety Leaderboard dédié à l'évaluation de la sécurité des LLM。
OpenAI a financé 10 équipes dans le monde pour concevoir des idées et des outils de gouvernance collective de l'IA。
OpenAI annonce le lancement de Superalignment Fast Grants。
OpenAI提出一个面向超级对齐的新研究方向, 并给出初步结果 :能否利用深度学习的泛化特性, 用较弱的监督者去控制更强的模型. 该方向将弱到强泛化作为实现超级对齐的潜在路径.
Motif de la recommandation :OpenAI提出弱监督强模型的对齐研究方向, 并给出初步结果, 可供关注超级对齐路径的读者了解其问题设定.
OpenAI développe son approche de préparation aux risques catastrophiques liés aux systèmes d'IA hautement capables。
OpenAI, Anthropic, Google et Microsoft annoncent ensemble un nouveau directeur exécutif pour le Frontier Model Forum ainsi qu'un nouveau fonds de 10 M$ dédié à la sécurité de l'IA.
OpenAI publie la fiche système de DALL·E 3.
Hugging Face a porté ses positions sur l'éthique de l'IA auprès des législateurs de l'UE。
OpenAI publie la fiche système de GPT-4V(ision).
OpenAI annonce un appel ouvert pour rejoindre son Red Teaming Network, invitant les experts de domaine intéressés par l'amélioration de la sécurité de ses modèles à participer.
OpenAI utilise GPT-4 pour l'élaboration des politiques de contenu et les décisions de modération。
Motif de la recommandation :L'article explique comment GPT-4 est utilisé pour l'élaboration des politiques de contenu et les décisions de modération, avec des bénéfices concrets sur la cohérence et la rapidité.
Zama démontre qu'il est possible d'exécuter une partie de l'inférence d'un LLM sur des données chiffrées grâce au chiffrement homomorphe complet (FHE)。
OpenAI annonce la création d'une nouvelle instance sectorielle, le Frontier Model Forum。
Motif de la recommandation :L'original expose la création d'une instance sectorielle et ses missions, ce qui permet de situer les orientations de gouvernance de l'IA de pointe.
OpenAI et d'autres laboratoires de premier plan renforcent la sécurité。
Hugging Face consacre le quatrième numéro de sa newsletter Ethics and Society aux sources de biais dans les modèles text-to-image。
OpenAI annonce un programme de subventions destiné à financer le développement de capacités de cybersécurité assistées par IA pour les défenseurs. L'initiative vise à soutenir les équipes de défense via des financements et d'autres formes d'appui.
OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.
Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.
Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors。
Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.
OpenAI estime qu'il est temps de commencer à réfléchir à la gouvernance de la superintelligence。
OpenAI lance un programme de bug bounty pour faire appel à l'aide du public afin de développer une IA sûre et avancée. L'initiative s'inscrit dans l'engagement d'OpenAI à créer des technologies et services sécurisés, fiables et dignes de confiance.
OpenAI expose son approche pour garantir que les systèmes d'IA sont construits, déployés et utilisés de manière sûre, un point qu'elle juge essentiel à sa mission.
Hugging Face détaille dans sa newsletter #3 son approche d'une ouverture éthique du ML。
Hugging Face annonce la publication d'un cadre éthique dans la documentation de sa bibliothèque Diffusers。
OpenAI a publié un article intitulé Planning for AGI and beyond, affirmant que sa mission est de faire en sorte que l'intelligence artificielle générale。