Aller au contenu
Voir seulementPublication de recherche#évaluation/benchmark
  1. Google DeepMind62

    Google DeepMind pilote les premières évaluations d'IA à double aveugle

    Google DeepMind annonce piloter la première évaluation à double aveugle d'un modèle de frontière propriétaire。

    Motif de la recommandation :L'article détaille un dispositif d'évaluation à double aveugle avec partenaires externes, utile pour comprendre comment la contamination des benchmarks est traitée techniquement.

  1. OpenAI News62

    OpenAI 推出 GDPval 评估, 衡量模型在真实工作任务上的表现

    OpenAI 推出 GDPval, 一项新的评估, 用于衡量模型在 44 种职业中具有真实经济价值的任务上的表现.

    Motif de la recommandation :OpenAI 公布 GDPval 评估, 覆盖 44 种职业的真实经济价值任务, 可用于对照模型在现实工作场景中的表现.

  1. OpenAI News60

    OpenAI 发布 SWE-Lancer 基准

    OpenAI 发布 SWE-Lancer 基准, 用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元.

Fin de la liste