Mystery Game Puzzles
Epoch AI / « inférence » · Déduire la bonne action à partir de règles inconnues
Ce qu'il mesure, comment il le mesure
On ne retient que le mean_score du protocole standard d'Epoch ;_score ;la non-publication des questions est une limite explicitement maintenue.
Comment utiliser ces preuves
Après vérification via le protocole mono-modèle, participe au classement de référence dans la limite de la part de la famille de questions du domaine de compétence concerné ; les mesures d'une même famille de questions n'augmentent pas la part totale de la famille. La part effective figure dans l'enregistrement de calcul en cours.
Scores d'évaluation
Selon des règles fixes, chaque modèle public utilise une configuration représentative ; les modèles sans configuration admissible sont marqués comme non pris en compte, avec la raison indiquée. Les modèles testés de façon anonyme ne sont pas affichés, leur rang d'origine est conservé, avec un maximum de 30 par entrée.
| Rang sur le classement d'origine | Modèle au classement d'origine | Score brut | Configuration de référence |
|---|---|---|---|
| 1 | gpt-6-astra_maxOpenAI | 84.0% | Max « inférence » |
| 2 | gpt-6.1-sol_maxOpenAI | 80.0% | Max « inférence » |
| 3 | claude-opus-5-5_maxAnthropic | 71.0% | Max « inférence » |
| 4 | claude-sonnet-5-5_maxAnthropic | 65.0% | Max « inférence » |
| 5 | claude-opus-5_maxAnthropic | 59.0% | Max « inférence » |
| 6 | gpt-5.6-sol_maxOpenAI | 58.0% | Max « inférence » |
| 6 | claude-fable-5-1_maxAnthropic | 58.0% | Max « inférence » |
| 8 | gpt-5.5_xhighOpenAI | 56.0% | xHigh « inférence » |
| 8 | gpt-6-sol_maxOpenAI | 56.0% | Max « inférence » |
| 10 | claude-fable-5_maxAnthropic | 52.0% | Max « inférence » |
| 12 | gemini-3.8-flash_highGoogle | 47.0% | High « inférence » |
| 13 | deepseek-v4-pro-0813_maxDeepSeek | 43.0% | Max « inférence » |
| 14 | qwen3.8-max_xhighAlibaba | 38.0% | xHigh « inférence » |
| 15 | gemini-3.7-flash_highGoogle | 37.0% | High « inférence » |
| 15 | gpt-5.4-2026-03-05_xhighOpenAI | 37.0% | xHigh « inférence » |
| 18 | claude-opus-4-8_maxAnthropic | 36.0% | Max « inférence » |
| 19 | claude-sonnet-5_maxAnthropic | 35.0% | Max « inférence » |
| 19 | gpt-5.6-terra_maxOpenAI | 35.0% | Max « inférence » |
| 21 | deepseek-v4-flash-0731_maxDeepSeek | 34.0% | Max « inférence » |
| 21 | grok-4.6_xhighxAI | 34.0% | xHigh « inférence » |
| 21 | gemini-3.1-pro-preview_highGoogle | 34.0% | High « inférence » |
| 24 | glm-5.3_maxZ.ai | 33.0% | Max « inférence » |
| 26 | gemini-3.5-flash_highGoogle | 32.0% | High « inférence » |
| 26 | qwen3.7-maxAlibaba | 32.0% | Configuration par défaut de la source |
| 30 | gemini-3.6-flash_highGoogle | 30.0% | High « inférence » |
| 31 | o3-2025-04-16_highOpenAI | 29.0% | High « inférence » |
| 31 | grok-4.7_xhighxAI | 29.0% | xHigh « inférence » |
| 34 | claude-opus-4-7_maxAnthropic | 28.0% | Max « inférence » |
| 38 | kimi-k3_maxMoonshot AI | 26.0% | Max « inférence » |
| 42 | muse-spark-1.3_maxMeta | 25.0% | Max « inférence » |
Limites de l'évaluation et attribution des données
Comptabilisé dans le score officiel ; une même famille de questions partage un budget fixe.
Licence des données :CC BY 4.0 · Epoch AI données d'évaluation propres
Résultats publiés par Epoch AI ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.