LiveBench · Raisonnement et mathématiques
LiveBench / « inférence » · Reasoning + Mathematics Moyenne des deux, à 50 % chacun.
Ce qu'il mesure, comment il le mesure
Calculer d'abord séparément les scores par catégorie Reasoning et Mathematics, puis faire la moyenne à 50 % chacune et arrondir à une décimale. Cette moyenne des deux diffère du score obtenu en sélectionnant une seule catégorie sur le site officiel.
Comment utiliser ces preuves
Après vérification via le protocole mono-modèle, participe au classement de référence dans la limite de la part de la famille de questions du domaine de compétence concerné ; les mesures d'une même famille de questions n'augmentent pas la part totale de la famille. La part effective figure dans l'enregistrement de calcul en cours.
Scores d'évaluation
Selon des règles fixes, chaque modèle public utilise une configuration représentative ; les modèles sans configuration admissible sont marqués comme non pris en compte, avec la raison indiquée. Les modèles testés de façon anonyme ne sont pas affichés, leur rang d'origine est conservé, avec un maximum de 30 par entrée.
| Rang sur le classement d'origine | Modèle au classement d'origine | Score brut | Configuration de référence |
|---|---|---|---|
| 1 | gpt-6.1-sol-maxOpenAI | 94.7% | Max « inférence » |
| 2 | gpt-6-astra-maxOpenAI | 94.7% | Max « inférence » |
| 3 | claude-opus-5-5-max-effortAnthropic | 94.6% | Max « inférence » |
| 4 | claude-fable-5-1-max-effortAnthropic | 94.3% | Max « inférence » |
| 6 | gpt-5.6-sol-maxOpenAI | 93.9% | Max « inférence » |
| 7 | claude-sonnet-5-5-max-effortAnthropic | 93.9% | Max « inférence » |
| 9 | claude-opus-5-max-effortAnthropic | 93.5% | Max « inférence » |
| 10 | claude-fable-5-max-effortAnthropic | 92.8% | Max « inférence » |
| 11 | muse-spark-1.3-xhighMeta | 92.8% | xHigh « inférence » |
| 12 | gpt-5.6-terra-maxOpenAI | 92.8% | Max « inférence » |
| 13 | gpt-5.5-xhighOpenAI | 92.8% | xHigh « inférence » |
| 14 | gpt-6-sol-maxOpenAI | 92.5% | Max « inférence » |
| 15 | claude-opus-4-8-max-effortAnthropic | 91.8% | Max « inférence » |
| 17 | grok-4.6xAI | 91.5% | Configuration par défaut de la source |
| 18 | gpt-5.4-xhighOpenAI | 91.1% | xHigh « inférence » |
| 19 | claude-sonnet-5-xhigh-effortAnthropic | 90.8% | xHigh « inférence » |
| 20 | gemini-3.7-flash-highGoogle | 90.6% | High « inférence » |
| 21 | muse-spark-1.2-xhighMeta | 90.6% | xHigh « inférence » |
| 22 | deepseek-v4-pro-0813DeepSeek | 90.5% | Configuration par défaut de la source |
| 23 | gemini-3.8-flash-highGoogle | 90.4% | High « inférence » |
| 24 | claude-opus-4-7-xhigh-effortAnthropic | 90.0% | xHigh « inférence » |
| 25 | deepseek-v4.1-flash-maxDeepSeek | 90.0% | Configuration par défaut de la source |
| 26 | qwen3.8-maxAlibaba | 89.8% | Configuration par défaut de la source |
| 27 | grok-4.7-xhighxAI | 89.2% | xHigh « inférence » |
| 28 | grok-4.5xAI | 89.0% | Configuration par défaut de la source |
| 29 | claude-opus-4-6-thinking-auto-high-effortAnthropic | 89.0% | High « inférence » |
| 30 | gpt-5.2-2025-12-11-highOpenAI | 88.2% | High « inférence » |
| 31 | smaug-flashAbacus.AI | 88.1% | Configuration par défaut de la source |
| 32 | kimi-k3Moonshot AI | 87.6% | Configuration par défaut de la source |
| 33 | gemini-3.1-pro-preview-highGoogle | 87.5% | High « inférence » |
Limites de l'évaluation et attribution des données
La moyenne des deux mesure la performance combinée et ne doit pas être prise pour le score Reasoning seul. Sur la page officielle, changer de catégorie ou inclure ou non les modèles affinés fait varier les scores et le classement. L'organisation participante Abacus.AI développe aussi le modèle Smaug ; ses scores exclusifs doivent être complétés par d'autres sources indépendantes.
Licence des données :Apache 2.0
Les scores par catégorie sont publiés par LiveBench ; ce site les agrège à poids égal selon les deux catégories ci-dessus et les classe. Les échelles de score étant différentes, elles ne peuvent pas être additionnées directement ; le classement de référence utilise une échelle de référence fixe.