Orientations techniques
AI Sécurité et alignement de l'IA : jailbreak et défenses, recherche sur le comportement des modèles, évaluations de sécurité et cadres de gouvernance.
108 sélections30 derniers jours 8 entréesTotal : 358 entrées
OpenAI lance un programme Safety Bug Bounty destiné à identifier les abus et risques de sécurité liés à l'IA。
Motif de la recommandation :OpenAI ouvre un programme de prime pour signaler les abus et risques de sécurité liés aux agents, ce qui éclaire les priorités de sécurité des déploiements agentiques.
Google Research publie les résultats d'une étude de faisabilité prospective menée avec le Beth Israel Deaconess Medical Center。
Motif de la recommandation :L'étude détaille le déploiement réel d'AMIE en soins primaires, avec des chiffres de sécurité et de précision diagnostique qui éclairent les limites d'un agent conversationnel médical.
OpenAI 发布 IH-Challenge, 用于训练模型优先执行可信指令, 从而改善指令层级, 安全可控性以及对提示注入攻击的抵抗能力.
Motif de la recommandation :OpenAI 公开 IH-Challenge 训练思路, 说明如何让模型优先执行可信指令并提升抗提示注入能力.
OpenAI annonce l'acquisition de Promptfoo, une plateforme de sécurité IA qui aide les entreprises à identifier et corriger les vulnérabilités de leurs systèmes d'IA pendant le développement.
Motif de la recommandation :Une acquisition d'OpenAI dans la sécurité des systèmes d'IA, qui éclaire le positionnement des plateformes de test de vulnérabilités.
OpenAI annonce Codex Security, un agent de sécurité applicative IA disponible en research preview. Il analyse le contexte du projet pour détecter。
Motif de la recommandation :Présentation d'un agent de sécurité applicative qui analyse le contexte du projet pour détecter, valider et corriger les vulnérabilités complexes.
OpenAI a conclu un contrat avec le ministère de la Guerre, dont les détails portent sur les lignes rouges de sécurité。
Motif de la recommandation :L'accord entre OpenAI et le ministère de la Guerre précise les lignes rouges de sécurité et les protections juridiques encadrant le déploiement de l'IA en environnement classifié.
OpenAI introduit dans ChatGPT le mode verrouillage et les étiquettes de risque élevé。
Motif de la recommandation :ChatGPT ajoute un mode verrouillage et des étiquettes de risque élevé, une évolution directement liée à la défense contre l'injection de prompt et l'exfiltration de données.
Google Research annonce, en partenariat avec Included Health, le lancement d'une étude randomisée nationale prospective avec consentement。
Motif de la recommandation :L'original expose le passage de la simulation à un essai randomisé national en soins virtuels réels, avec les étapes de recherche qui le précèdent.
OpenAI a banni des comptes utilisant l'IA pour soutenir des chaînes d'arnaques sentimentales。
Motif de la recommandation :L'original précise les maillons de la chaîne d'arnaque sentimentale assistée par IA et les mesures de bannissement d'OpenAI, ce qui aide le lecteur à comprendre les limites d'usage des modèles.
OpenAI a banni des comptes liés au réseau Rybar, dont certains proviendraient probablement de Russie。
ServiceNow-AI publie AprielGuard, un modèle de garde-fou de 8B paramètres conçu pour détecter 16 catégories de risques de sécurité ainsi que diverses attaques adversariales。
Motif de la recommandation :Un modèle de garde-fou de 8B paramètres couvrant 16 catégories de risques et les attaques adversariales des workflows agentiques, avec les résultats d'évaluation détaillés.
OpenAI renforce ChatGPT Atlas contre les attaques d'injection de prompt en s'appuyant sur un red teaming automatisé entraîné par apprentissage par renforcement. Cette boucle proactive de découverte et de correction vise à identifier en amont de nouveaux exploits et à durcir les défenses de l'agent navigateur à mesure que l'IA devient plus agentique.
Motif de la recommandation :L'original expose la boucle automatique de red teaming et de correction d'Atlas, ce qui permet de comprendre comment les défenses d'un agent navigateur sont renforcées.
Google DeepMind annonce Gemma Scope 2, une suite ouverte d'outils d'interprétabilité couvrant toutes les tailles de la famille Gemma 3。
Motif de la recommandation :L'original expose la couverture complète de Gemma Scope 2 sur la famille Gemma 3 et les techniques d'entraînement employées, ce qui permet de situer les outils d'interprétabilité disponibles pour l'audit des modèles.
OpenAI publie une mise à jour de la System Card de GPT-5 consacrée à GPT-5.2。
Google DeepMind annonce un partenariat renforcé avec le gouvernement britannique pour accélérer l'usage de l'IA dans la science。
Motif de la recommandation :Le partenariat détaille des accès prioritaires à des modèles scientifiques et un laboratoire automatisé, ce qui éclaire la trajectoire de l'IA appliquée à la recherche publique.
Google DeepMind ajoute à l'application Gemini la possibilité de vérifier si une image a été générée ou modifiée par Google AI。
Motif de la recommandation :L'original détaille le fonctionnement de la vérification SynthID dans Gemini et l'extension à venir aux formats vidéo et audio.
OpenAI 发布 GPT-5.1-Codex-Max 系统卡, 说明该模型实施的安全措施. 系统卡涵盖模型层面的缓解手段, 包括针对有害任务和提示注入的专项安全训练, 以及产品层面的缓解手段, 如 agent 沙箱和可配置的网络访问.
Motif de la recommandation :公开 GPT-5.1-Codex-Max 的安全措施细节, 包括针对有害任务与提示注入的专项训练及沙箱, 网络访问配置等产品级缓解手段.
Google Research annonce la sortie de JAX-Privacy 1.0。
Motif de la recommandation :JAX-Privacy 1.0 expose les briques DP, la scalabilité et des exemples de fine-tuning Gemma, ce qui permet de juger de son intégration dans les pipelines existants.
OpenAI publie un addendum à la fiche système de GPT-5。
Motif de la recommandation :L'addendum présente les métriques de sécurité mises à jour de GPT-5.1 Instant et Thinking, avec de nouvelles évaluations sur la santé mentale et la dépendance émotionnelle.
OpenAI présente Aardvark, un chercheur en sécurité basé sur l'IA qui détecte。
Motif de la recommandation :Présentation du positionnement et du mode d'accès d'un agent de sécurité, utile pour suivre l'évolution des capacités des agents dans le domaine de la sécurité.