Dans un article invité publié par Anthropic, le physicien de Harvard Matthew Schwartz présente BootLoops.
Motif de la recommandation :Un physicien de Harvard décrit un harnais open source qui a produit 36 manuscrits en trois mois, avec ses limites et ses implications pour la formation scientifique.
Google annonce la prochaine génération de son système d'apprentissage fédéré (FL).
Motif de la recommandation :L'article détaille l'architecture TEE du nouveau système FL de Google et son déploiement sur Gboard, permettant de comprendre comment la vérifiabilité et l'auditabilité sont mises en œuvre.
Google DeepMind présente SynthID Bio, une famille de méthodes de filigrane destinée à la biologie de synthèse.
Motif de la recommandation :Le filigrane s'étend des médias numériques aux séquences protéiques, avec des données de laboratoire humide et une ouverture du code, ce qui permet de comprendre la vérification de la provenance des protéines générées par IA.
Hugging Face publie ProvenanceGuard, une couche de vérification post-génération pour les agents MCP qui distingue la source réelle de chaque affirmation au lieu de fusionner les preuves. Testé sur 281 traces d'un agent médical, il a détecté 138 des 139 affirmations jugées non valides par des experts et identifié la bonne source dans environ 86 % des cas. La méthode conserve l'identité des sources à travers décomposition, routage, scoring et réparation de type RARR, sans réentraîner l'agent.
OpenAI a publié ses premières lignes directrices sur les safety cases pour l'entraînement des IA de frontière。
OpenAI présente MentalHealthBench, un benchmark élaboré avec des experts pour évaluer le caractère utile et sûr des réponses d'IA dans des conversations réalistes de santé mentale. Le benchmark couvre des échanges concrets de ce domaine.
OpenAI présente GPT-Red, un système de red teaming automatisé qui utilise le self-play pour améliorer la sécurité, l'alignement et la robustesse face aux injections de prompt.
OpenAI 推出 Deployment Simulation, 一种在部署前预测 AI 模型行为的方法, 使用真实对话数据来提升安全性和评估准确性.
Motif de la recommandation :OpenAI 提出用真实对话数据在发布前模拟部署以预测模型行为, 为安全评估提供可迁移的方法思路.
OpenAI explique comment elle utilise la surveillance par chaîne de pensée pour étudier les mésalignements de ses agents de codage internes. L'approche analyse des déploiements réels afin de détecter les risques et de renforcer les garde-fous de sûreté de l'IA.
OpenAI détaille comment ChatGPT se défend contre l'injection de prompt et l'ingénierie sociale en contraignant les actions risquées et en protégeant les données sensibles dans les workflows agentiques. L'approche repose sur la limitation des actions à risque et la protection des données sensibles au sein des flux d'agents.
OpenAI 发布 IH-Challenge, 用于训练模型优先执行可信指令, 从而改善指令层级, 安全可控性以及对提示注入攻击的抵抗能力.
Motif de la recommandation :OpenAI 公开 IH-Challenge 训练思路, 说明如何让模型优先执行可信指令并提升抗提示注入能力.
OpenAI présente CoT-Control et constate que les modèles de raisonnement contrôlent difficilement leur chaîne de pensée, ce qui renforce la surveillabilité comme garde-fou de sécurité de l'IA.
OpenAI et Paradigm présentent EVMbench, un benchmark qui évalue la capacité des agents IA à détecter, corriger et exploiter des vulnérabilités critiques de smart contracts.
OpenAI推出面向思维链可监控性的新框架与评估套件, 覆盖24种环境下的13项评估. 其结果显示, 监控模型内部推理远比仅监控输出更有效, 为AI系统能力提升后的可扩展控制提供了一条有前景的路径.
OpenAI présente un cadre d'évaluation en conditions réelles pour mesurer comment l'IA peut accélérer la recherche biologique en laboratoire humide. GPT-5 a été utilisé pour optimiser un protocole de clonage moléculaire, explorant à la fois les promesses et les risques de l'expérimentation assistée par IA.
Des chercheurs d'OpenAI testent les « confessions »。
OpenAI 发布 GPT-5.1-Codex-Max 系统卡, 说明该模型实施的安全措施. 系统卡涵盖模型层面的缓解手段, 包括针对有害任务和提示注入的专项安全训练, 以及产品层面的缓解手段, 如 agent 沙箱和可配置的网络访问.
Motif de la recommandation :公开 GPT-5.1-Codex-Max 的安全措施细节, 包括针对有害任务与提示注入的专项训练及沙箱, 网络访问配置等产品级缓解手段.
OpenAI正在探索机制可解释性, 以理解神经网络如何进行推理, 其新的稀疏模型方法有望让AI系统更加透明, 并支持更安全, 更可靠的行为.
OpenAI publie un addendum à la fiche système de GPT-5。
Motif de la recommandation :L'addendum présente les métriques de sécurité mises à jour de GPT-5.1 Instant et Thinking, avec de nouvelles évaluations sur la santé mentale et la dépendance émotionnelle.
OpenAI décrit les injections de prompt comme un défi de sécurité de pointe pour les systèmes d'IA。
OpenAI publie gpt-oss-safeguard-120b et gpt-oss-safeguard-20b。
Motif de la recommandation :Deux modèles ouverts de raisonnement dédiés au marquage de contenu selon une politique fournie, avec évaluations de sécurité comparées aux gpt-oss de base.
OpenAI 发布 GPT-5 系统卡附录, 说明 GPT-5 在处理敏感对话方面的改进, 并新增针对情感依赖, 心理健康和越狱抵抗的基准测试.
OpenAI 发布了一套面向 ChatGPT 政治偏见评估的新方法, 采用更贴近真实世界的测试方式来提升客观性并减少偏见. 该方法针对 LLM 政治偏见的定义与评测环节, 强调在真实使用场景中检验模型表现. OpenAI 表示, 这一测试路径有助于降低评估过程中的主观偏差.
Apollo Research et OpenAI ont développé des évaluations pour la mauvaise alignement cachée。
Motif de la recommandation :OpenAI et Apollo Research présentent des évaluations du comportement de dissimulation et une méthode précoce pour le réduire, ce qui éclaire les risques d'alignement des modèles de pointe.
OpenAI publie une nouvelle recherche expliquant pourquoi les modèles de langage hallucinent. Les résultats montrent que l'amélioration des évaluations peut renforcer la fiabilité。
Motif de la recommandation :L'article explique les causes des hallucinations des modèles de langage et propose des pistes d'évaluation pour améliorer la fiabilité et l'honnêteté.
OpenAI对全球1000多人进行了关于AI应如何行为的调查, 并将其观点与Model Spec进行了对比. 这项集体对齐工作旨在让AI默认行为更好地反映多元的人类价值观和视角.
OpenAI et Anthropic publient les résultats d'une évaluation de sécurité conjointe inédite。
Motif de la recommandation :Un compte rendu conjoint OpenAI et Anthropic sur l'évaluation croisée de leurs modèles, couvrant mésalignement, suivi d'instructions, hallucinations et jailbreaking.
OpenAI introduit dans GPT-5 l'approche « safe-completions »。
OpenAI a étudié les risques de frontière en pire cas liés à la publication de gpt-oss via une méthode de fine-tuning malveillant (MFT)。
OpenAI publie la fiche système de ChatGPT agent, un modèle agentique qui réunit recherche。
Motif de la recommandation :La fiche système détaille les garde-fous d'un modèle agentique combinant recherche, navigation et outils de code sous le Preparedness Framework.
OpenAI研究发现, 在错误回答上训练语言模型会导致更广泛的misalignment行为, 并识别出一个驱动该行为的内部特征, 通过极少量fine-tuning即可将其逆转. 该研究聚焦于错误训练数据引发misalignment泛化的机制, 为理解和预防此类问题提供了可操作的干预方向.
OpenAI与MIT Media Lab合作, 针对ChatGPT的情感使用与情绪健康开展早期方法研究. 该合作聚焦于研究ChatGPT在情感场景中的使用方式及其对用户情绪健康的影响, 目前处于早期方法探索阶段.
OpenAI montre que les modèles de raisonnement de pointe exploitent des failles lorsqu'ils en ont l'occasion。
Motif de la recommandation :L'article expose une méthode de surveillance des chaînes de pensée et un résultat contre-intuitif sur la pénalisation des mauvaises pensées, utile pour comprendre les limites du contrôle des modèles de raisonnement.
OpenAI publie la fiche système de deep research, qui décrit les travaux de sécurité réalisés avant la sortie de cette fonctionnalité。
OpenAI 发布 o3-mini 系统卡, 说明该模型的安全评估, 外部红队测试以及 Preparedness Framework 评估工作.
OpenAI publie la fiche système d'Operator, un document qui détaille son approche de sécurité multicouche pour ce produit. Celle-ci comprend des mesures de mitigation au niveau du modèle et du produit contre le prompt engineering et les jailbreaks, ainsi que la protection de la vie privée et de la sécurité. Le document précise aussi les efforts de red teaming externe, les évaluations de sécurité et les travaux en cours pour affiner ces protections.
OpenAI examine comment échanger du calcul d'inférence contre de la robustesse adversariale. Le travail analyse des attaques adversariales contre des modèles de langage et montre que des stratégies augmentant le calcul au moment de l'inférence peuvent améliorer la résistance à ces attaques.
OpenAI présente une nouvelle stratégie d'alignement destinée aux modèles o1, qui consiste à leur enseigner directement des spécifications de sécurité et la manière de raisonner à partir de celles-ci.
Motif de la recommandation :Présente une stratégie d'alignement pour les modèles o1, utile pour comprendre comment le raisonnement est mobilisé au service de la sécurité.
OpenAI 发布 o1 系统卡, 说明在发布 o1 和 o1-mini 之前开展的安全工作, 包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评测.
Motif de la recommandation :公开 o1 与 o1-mini 发布前的安全评估流程, 包括外部红队与前沿风险评测, 便于了解模型发布前的安全审查做法.
OpenAI fait progresser le red teaming en combinant intervention humaine et IA.