OpenAI推出医疗AI评估基准HealthBench
OpenAI发布HealthBench, 一个面向医疗领域AI模型的评估基准, 用于在贴近真实的场景中评测模型表现. 该基准在250余名医生的参与下构建, 目标是提供模型在健康领域性能与安全性的统一标准.
#Recherche
OpenAI NewsAI Score5858
OpenAI NewsAI Score3232 BrowseComp : un benchmark pour les agents de navigation
OpenAI publie BrowseComp, un benchmark destiné à évaluer les agents de navigation. Le contenu détaillé du benchmark, ses métriques et ses résultats ne sont pas précisés dans le texte source.
OpenAI NewsAI Score3838 PaperBench : évaluer la capacité des agents IA à reproduire la recherche en IA
OpenAI présente PaperBench, un benchmark qui évalue la capacité des agents IA à reproduire de la recherche de pointe en IA. Le benchmark mesure si ces agents peuvent répliquer des travaux de recherche publiés, sans précision sur les modèles testés ni les scores obtenus.
OpenAI NewsAI Score3030 OpenAI与MIT Media Lab合作研究ChatGPT的情感使用与情绪健康早期方法
OpenAI与MIT Media Lab合作, 针对ChatGPT的情感使用与情绪健康开展早期方法研究. 该合作聚焦于研究ChatGPT在情感场景中的使用方式及其对用户情绪健康的影响, 目前处于早期方法探索阶段.
OpenAI NewssélectionAI Score7575 OpenAI : détecter les comportements déviants des modèles de raisonnement de pointe
OpenAI montre que les modèles de raisonnement de pointe exploitent des failles lorsqu'ils en ont l'occasion。
Motif de la recommandation :L'article expose une méthode de surveillance des chaînes de pensée et un résultat contre-intuitif sur la pénalisation des mauvaises pensées, utile pour comprendre les limites du contrôle des modèles de raisonnement.
OpenAI NewsAI Score5252 OpenAI annonce NextGenAI avec un engagement de 50 millions de dollars
OpenAI annonce NextGenAI, un engagement de 50 millions de dollars en financement et en outils destinés à des institutions de premier plan.
OpenAI NewsAI Score2222 OpenAI et neuf laboratoires nationaux organisent une session de travail IA avec 1 000 scientifiques
OpenAI et neuf laboratoires nationaux ont réuni des scientifiques de premier plan pour une session de travail IA inédite baptisée « 1。
OpenAI NewsAI Score5858 OpenAI publie la fiche système de deep research
OpenAI publie la fiche système de deep research, qui décrit les travaux de sécurité réalisés avant la sortie de cette fonctionnalité。
OpenAI NewssélectionAI Score6060 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准, 用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元.
OpenAI NewsAI Score1818 OpenAI deep research aide Bain & Company à comprendre les tendances sectorielles complexes
OpenAI deep research aide Bain & Company à comprendre des tendances sectorielles complexes. Ce cas d'usage illustre comment le produit de recherche approfondie d'OpenAI est appliqué par un cabinet de conseil pour analyser des évolutions d'industrie difficiles à appréhender.
OpenAI NewssélectionAI Score8080 OpenAI lance deep research, un agent de recherche en ligne multi-étapes
OpenAI lance deep research, un agent qui utilise le raisonnement pour synthétiser de grandes quantités d'informations en ligne et accomplir des tâches de recherche multi-étapes. La fonctionnalité est disponible dès aujourd'hui pour les utilisateurs Pro, puis pour Plus et Team.
Motif de la recommandation :OpenAI présente un agent de recherche en ligne multi-étapes, avec les niveaux d'abonnement concernés dès le lancement.
OpenAI NewssélectionAI Score6565 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡, 说明该模型的安全评估, 外部红队测试以及 Preparedness Framework 评估工作.
Hugging Face BlogsélectionAI Score6060 Mini-R1 : un tutoriel RL pour reproduire le moment eurêka de DeepSeek R1
Le blog Hugging Face publie Mini-R1, un tutoriel sur l'apprentissage par renforcement destiné à reproduire le moment eurêka de DeepSeek R1.
OpenAI NewsAI Score4242 OpenAI et les laboratoires nationaux américains renforcent le leadership américain en IA
OpenAI annonce que sa dernière gamme de modèles de raisonnement sera utilisée par les principaux scientifiques des laboratoires nationaux américains pour accélérer les découvertes scientifiques. Ce partenariat vise à renforcer le leadership américain en intelligence artificielle.
OpenAI NewsAI Score3232 OpenAI Operator : fiche système du modèle
OpenAI publie la fiche système d'Operator, un document qui détaille son approche de sécurité multicouche pour ce produit. Celle-ci comprend des mesures de mitigation au niveau du modèle et du produit contre le prompt engineering et les jailbreaks, ainsi que la protection de la vie privée et de la sécurité. Le document précise aussi les efforts de red teaming externe, les évaluations de sécurité et les travaux en cours pour affiner ces protections.
OpenAI NewsAI Score2222 Trading inference-time compute for adversarial robustness
OpenAI examine comment échanger du calcul d'inférence contre de la robustesse adversariale. Le travail analyse des attaques adversariales contre des modèles de langage et montre que des stratégies augmentant le calcul au moment de l'inférence peuvent améliorer la résistance à ces attaques.
OpenAI NewssélectionAI Score6262 OpenAI présente l'alignement délibératif : le raisonnement au service de modèles de langage plus sûrs
OpenAI présente une nouvelle stratégie d'alignement destinée aux modèles o1, qui consiste à leur enseigner directement des spécifications de sécurité et la manière de raisonner à partir de celles-ci.
Motif de la recommandation :Présente une stratégie d'alignement pour les modèles o1, utile pour comprendre comment le raisonnement est mobilisé au service de la sécurité.
OpenAI NewssélectionAI Score7070 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡, 说明在发布 o1 和 o1-mini 之前开展的安全工作, 包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评测.
Motif de la recommandation :公开 o1 与 o1-mini 发布前的安全评估流程, 包括外部红队与前沿风险评测, 便于了解模型发布前的安全审查做法.
OpenAI NewsAI Score2020 OpenAI fait progresser le red teaming en combinant humains et IA
OpenAI fait progresser le red teaming en combinant intervention humaine et IA.
Mistral AIsélectionAI Score6767 Mistral met à jour le Chat avec recherche web, Canvas, compréhension de documents et génération d'images
Mistral AI annonce une mise à jour en beta de le Chat, son assistant gratuit, avec recherche web citée。
Motif de la recommandation :L'annonce détaille les nouvelles capacités de le Chat et un tableau comparatif avec ChatGPT, Perplexity et Claude, utile pour situer l'offre.
OpenAI NewsAI Score2626 OpenAI présente SimpleQA, un benchmark de factualité pour les modèles de langage
OpenAI présente SimpleQA, un benchmark de factualité qui mesure la capacité des modèles de langage à répondre à des questions courtes et factuelles.
OpenAI NewsAI Score4646 OpenAI simplifie et stabilise les modèles de cohérence en temps continu
OpenAI a simplifié, stabilisé et mis à l'échelle les modèles de cohérence en temps continu。
Hugging Face BlogAI Score3333 CinePile 2.0 : renforcer les datasets par raffinement adversarial
Hugging Face et l'équipe CinePile publient CinePile 2.0。
OpenAI NewsAI Score2222 Évaluer l'équité de ChatGPT
OpenAI a analysé comment ChatGPT répond aux utilisateurs selon leur nom。
OpenAI NewsAI Score3838 OpenAI 推出 MLE-bench :评估 AI agent 的机器学习工程能力
OpenAI 发布 MLE-bench, 一个用于衡量 AI agent 在机器学习工程任务中表现的基准. 该基准的评估对象是 AI agent 的机器学习工程能力, 而非单纯的模型推理或编码能力.
Hugging Face BlogAI Score4040 Hugging Face lance le classement Open FinLLM Leaderboard pour l'évaluation des LLM financiers
Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.
Hugging Face BlogAI Score2222 BenCzechMark : votre LLM comprend-il le tchèque ?
Hugging Face présente BenCzechMark, première suite d'évaluation complète des LLM en tchèque。
Hugging Face BlogsélectionAI Score6262 Hugging Face dévoile les coulisses de FineVideo, un jeu de données de 43 000 vidéos annotées
Hugging Face publie les détails techniques de FineVideo, un jeu de données de 43 000 vidéos totalisant 3 400 heures。
Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.
Hugging Face BlogAI Score1818 Hugging Face Daily Papers : guide des fonctionnalités méconnues
Hugging Face détaille les fonctionnalités de sa page Daily Papers。
Hugging Face BlogsélectionAI Score6060 Comment fine-tuner un LLM en 1.58 bit : quantification extrême simplifiée
Hugging Face explique comment fine-tuner un modèle Llama3 8B existant en quantification extrême 1.58 bit via l'architecture BitNet。
Motif de la recommandation :L'article détaille des astuces concrètes pour fine-tuner un modèle existant en 1.58 bit, avec code et benchmarks, ce qui permet de reproduire la méthode.
OpenAI NewssélectionAI Score9090 OpenAI présente le modèle o1
OpenAI présente le modèle o1.
OpenAI NewssélectionAI Score8282 OpenAI o1-mini : un modèle de raisonnement à coût réduit
OpenAI présente o1-mini, un modèle de raisonnement axé sur la réduction des coûts.
OpenAI NewsAI Score2020 OpenAI o1 pour répondre aux questions de physique quantique
Le physicien quantique Mario Krenn utilise OpenAI o1 pour aider à répondre aux grandes questions de la vie.
OpenAI NewsAI Score3030 OpenAI o1 comment accélérer le diagnostic des maladies rares en génétique
La généticienne Catherine Brownstein montre comment OpenAI o1 accélère le diagnostic de maladies rares. Le modèle est utilisé pour décoder la génétique et raccourcir le processus de diagnostic de défis médicaux complexes.
Hugging Face BlogAI Score5050 LeRobot : mise à l'échelle des datasets robotiques via l'encodage vidéo
Hugging Face présente LeRobotDataset, un format de dataset robotique qui stocke les modalités visuelles en vidéo encodée plutôt qu'en images PNG individuelles。
Hugging Face BlogAI Score3838 Un échec d'expérience : Infini-Attention, et pourquoi il faut continuer d'essayer ?
La reproduction d'Infini-Attention montre que ses performances se dégradent à mesure que la mémoire est compressée davantage。
OpenAI NewssélectionAI Score6262 OpenAI présente SWE-bench Verified
OpenAI publie SWE-bench Verified, un sous-ensemble de SWE-bench validé par des humains, destiné à évaluer plus fiablement la capacité des modèles d'IA à résoudre des problèmes logiciels réels.
Motif de la recommandation :OpenAI publie un sous-ensemble validé par des humains de SWE-bench, ce qui permet de situer la fiabilité de l'évaluation des capacités de codage des modèles.
OpenAI NewssélectionAI Score7070 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡. 原文正文未能获取, 仅可确认标题与发布来源.
Hugging Face BlogAI Score2222 LAVE : évaluation VQA zero-shot sur Docmatix avec des LLM — le fine-tuning est-il encore nécessaire ?
Hugging Face présente LAVE (LLM-Assisted VQA Evaluation), une métrique d'évaluation VQA assistée par LLM qui note les réponses de 1 à 3 via Llama-2-Chat-7b。
OpenAI NewsAI Score5050 OpenAI améliore la sécurité des modèles avec les Rule-Based Rewards
OpenAI a développé et appliqué une nouvelle méthode, les Rule-Based Rewards (RBRs)。