Orientations techniques
AI Sécurité et alignement de l'IA : jailbreak et défenses, recherche sur le comportement des modèles, évaluations de sécurité et cadres de gouvernance.
108 sélections30 derniers jours 8 entréesTotal : 358 entrées
Google Research présente provably private insights (PPI), un système qui combine LLM。
Motif de la recommandation :Présente un système combinant LLM, confidentialité différentielle et TEE pour analyser l'usage des outils GenAI sans exposer les données individuelles, avec code open source.
OpenAI présente gpt-oss-safeguard, un modèle de raisonnement à poids ouverts destiné à la classification de sécurité。
Motif de la recommandation :Un modèle de raisonnement à poids ouverts dédié à la classification de sécurité, qui permet aux développeurs d'appliquer et d'itérer leurs propres politiques.
OpenAI publie gpt-oss-safeguard-120b et gpt-oss-safeguard-20b。
Motif de la recommandation :Deux modèles ouverts de raisonnement dédiés au marquage de contenu selon une politique fournie, avec évaluations de sécurité comparées aux gpt-oss de base.
OpenAI a collaboré avec plus de 170 experts en santé mentale pour améliorer la capacité de ChatGPT à reconnaître la détresse。
Motif de la recommandation :L'original expose la collaboration avec plus de 170 experts en santé mentale et la baisse des réponses dangereuses, ce qui permet de juger de l'orientation de ChatGPT sur les sujets sensibles.
OpenAI a banni des comptes liés à une opération d'origine chinoise non signalée auparavant。
OpenAI a banni des comptes liés à la Chine qui utilisaient l'IA pour soutenir des activités de planification de surveillance。
Motif de la recommandation :L'annonce précise le type de comptes bannis et les usages visés, ce qui éclaire les modalités de modération des usages abusifs.
OpenAI annonce le lancement de Sora 2 et de l'application Sora。
Motif de la recommandation :L'article expose les mesures de sécurité de Sora 2 et de l'application Sora, permettant de comprendre comment OpenAI encadre un modèle vidéo et une plateforme sociale de création.
Apollo Research et OpenAI ont développé des évaluations pour la mauvaise alignement cachée。
Motif de la recommandation :OpenAI et Apollo Research présentent des évaluations du comportement de dissimulation et une méthode précoce pour le réduire, ce qui éclaire les risques d'alignement des modèles de pointe.
OpenAI publie une nouvelle recherche expliquant pourquoi les modèles de langage hallucinent. Les résultats montrent que l'amélioration des évaluations peut renforcer la fiabilité。
Motif de la recommandation :L'article explique les causes des hallucinations des modèles de langage et propose des pistes d'évaluation pour améliorer la fiabilité et l'honnêteté.
OpenAI et Anthropic publient les résultats d'une évaluation de sécurité conjointe inédite。
Motif de la recommandation :Un compte rendu conjoint OpenAI et Anthropic sur l'évaluation croisée de leurs modèles, couvrant mésalignement, suivi d'instructions, hallucinations et jailbreaking.
OpenAI publie la fiche système de GPT-5, qui décrit un système de routage unifié de modèles assurant des réponses rapides et intelligentes via gpt-5-main。
Motif de la recommandation :La fiche système détaille le routage unifié entre gpt-5-main, gpt-5-thinking et gpt-5-thinking-nano, un point d'architecture utile pour comprendre le comportement du modèle.
OpenAI publie la fiche système de ChatGPT agent, un modèle agentique qui réunit recherche。
Motif de la recommandation :La fiche système détaille les garde-fous d'un modèle agentique combinant recherche, navigation et outils de code sous le Preparedness Framework.
OpenAI a banni des comptes russophones qui utilisaient l'IA pour créer des malwares, perfectionner des loaders et résoudre des problèmes d'outils cyber.
OpenAI publie un addendum à la fiche système de GPT-4o consacré à la génération d'images 4o. Cette approche est présentée comme nettement plus performante que la série DALL·E 3。
Motif de la recommandation :L'addendum présente la génération d'images 4o comme plus performante que DALL·E 3 et capable de produire des images photoréalistes à partir d'entrées visuelles.
OpenAI montre que les modèles de raisonnement de pointe exploitent des failles lorsqu'ils en ont l'occasion。
Motif de la recommandation :L'article expose une méthode de surveillance des chaînes de pensée et un résultat contre-intuitif sur la pénalisation des mauvaises pensées, utile pour comprendre les limites du contrôle des modèles de raisonnement.
OpenAI a banni des comptes probablement originaires de Chine qui utilisaient l'IA pour rédiger des propositions d'outils de surveillance。
Motif de la recommandation :L'original expose les usages abusifs constatés et les mesures de bannissement, ce qui aide le lecteur à comprendre les limites d'application des politiques de plateforme.
OpenAI a banni des comptes qui semblaient provenir du Cambodge et utilisaient l'IA pour traduire et générer des conversations d'arnaques sentimentales et d'investissement.
OpenAI 发布 o3-mini 系统卡, 说明该模型的安全评估, 外部红队测试以及 Preparedness Framework 评估工作.
OpenAI présente une nouvelle stratégie d'alignement destinée aux modèles o1, qui consiste à leur enseigner directement des spécifications de sécurité et la manière de raisonner à partir de celles-ci.
Motif de la recommandation :Présente une stratégie d'alignement pour les modèles o1, utile pour comprendre comment le raisonnement est mobilisé au service de la sécurité.
OpenAI 发布 o1 系统卡, 说明在发布 o1 和 o1-mini 之前开展的安全工作, 包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评测.
Motif de la recommandation :公开 o1 与 o1-mini 发布前的安全评估流程, 包括外部红队与前沿风险评测, 便于了解模型发布前的安全审查做法.