SimpleQA Verified
Epoch AI / Connaissance · Exactitude factuelle sur des questions courtes
Ce qu'il mesure, comment il le mesure
On ne retient que le mean des réexécutions propres à Epoch_score, avec un niveau de raisonnement fixe ; les colonnes agrégées ECI et Best score ne sont pas lues.
Comment utiliser ces preuves
Après vérification via le protocole mono-modèle, participe au classement de référence dans la limite de la part de la famille de questions du domaine de compétence concerné ; les mesures d'une même famille de questions n'augmentent pas la part totale de la famille. La part effective figure dans l'enregistrement de calcul en cours.
Scores d'évaluation
Selon des règles fixes, chaque modèle public utilise une configuration représentative ; les modèles sans configuration admissible sont marqués comme non pris en compte, avec la raison indiquée. Les modèles testés de façon anonyme ne sont pas affichés, leur rang d'origine est conservé, avec un maximum de 30 par entrée.
| Rang sur le classement d'origine | Modèle au classement d'origine | Score brut | Configuration de référence |
|---|---|---|---|
| 1 | gpt-6-astra_maxOpenAI | 75.6% | Max « inférence » |
| 2 | gpt-6.1-sol_maxOpenAI | 73.9% | Max « inférence » |
| 3 | gemini-3.1-pro-preview_highGoogle | 73.5% | High « inférence » |
| 4 | claude-opus-5-5_maxAnthropic | 72.2% | Max « inférence » |
| 5 | claude-fable-5-1_maxAnthropic | 70.8% | Max « inférence » |
| 6 | claude-fable-5_xhighAnthropic | 70.7% | xHigh « inférence » |
| 7 | gemini-3.8-flash_highGoogle | 69.7% | High « inférence » |
| 7 | gpt-5.6-sol_maxOpenAI | 69.7% | Max « inférence » |
| 9 | gemini-3.7-flash_highGoogle | 69.2% | High « inférence » |
| 10 | gemini-3-flash-preview_highGoogle | 66.8% | High « inférence » |
| 11 | gemini-3.5-flash_highGoogle | 66.2% | High « inférence » |
| 11 | gemini-3.6-flash_highGoogle | 66.2% | High « inférence » |
| 13 | gpt-5.5_xhighOpenAI | 63.0% | xHigh « inférence » |
| 14 | gpt-6-sol_maxOpenAI | 60.7% | Max « inférence » |
| 15 | muse-spark-1.2_xhighMeta | 60.3% | xHigh « inférence » |
| 16 | claude-opus-5_maxAnthropic | 59.9% | Max « inférence » |
| 17 | muse-spark-1.1Meta | 57.8% | Configuration par défaut de la source |
| 18 | grok-4.7_xhighxAI | 56.0% | xHigh « inférence » |
| 19 | qwen3.7-maxAlibaba | 55.8% | Configuration par défaut de la source |
| 20 | claude-opus-4-8_maxAnthropic | 53.0% | Max « inférence » |
| 21 | deepseek-v4-pro-0813_maxDeepSeek | 52.9% | Max « inférence » |
| 22 | qwen3.6-max-previewAlibaba | 52.0% | Configuration par défaut de la source |
| 23 | claude-opus-4-7_xhighAnthropic | 51.7% | xHigh « inférence » |
| 24 | kimi-k3_maxMoonshot AI | 50.6% | Max « inférence » |
| 25 | gpt-5-2025-08-07_highOpenAI | 50.1% | High « inférence » |
| 26 | o3-2025-04-16_highOpenAI | 49.4% | High « inférence » |
| 28 | grok-4.6_xhighxAI | 48.9% | xHigh « inférence » |
| 29 | qwen3-max-2025-09-23Alibaba | 48.7% | Configuration par défaut de la source |
| 30 | grok-4.5_highxAI | 48.3% | High « inférence » |
| 31 | gpt-5.1-2025-11-13_highOpenAI | 48.0% | High « inférence » |
Limites de l'évaluation et attribution des données
Comptabilisé dans le score officiel ; une même famille de questions partage un budget fixe.
Licence des données :CC BY 4.0 · Epoch AI données d'évaluation propres
Résultats publiés par Epoch AI ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.