Aller au contenu

Mercor APEX-Agents 1.1

Mercor / Travail professionnel · Des tâches longues de banque d'affaires, de conseil et de droit, pour voir si le modèle, en assistant, peut mener à bien un travail complet.

Évaluation officielle
dans le Actu Créaflash surClassé
Budget de preuves6.3%
Date des données amont09/08 08:00
Dernière synchronisation réussie11/18 08:05

Ce qu'il mesure, comment il le mesure

1 figé.1 jeu de données et environnement Loop officiel, avec Pass@1 @1 et l'erreur correspondante, la configuration étant choisie selon un niveau de raisonnement fixé à l'avance. Le Mean Score est la moyenne d'achèvement des critères de notation, à ne pas confondre avec un taux de réussite des tâches.

Comment utiliser ces preuves

Après vérification via le protocole mono-modèle, participe au classement de référence dans la limite de la part de la famille de questions du domaine de compétence concerné ; les mesures d'une même famille de questions n'augmentent pas la part totale de la famille. La part effective figure dans l'enregistrement de calcul en cours.

Scores d'évaluation

Selon des règles fixes, chaque modèle public utilise une configuration représentative ; les modèles sans configuration admissible sont marqués comme non pris en compte, avec la raison indiquée. Les modèles testés de façon anonyme ne sont pas affichés, leur rang d'origine est conservé, avec un maximum de 30 par entrée.

Rang sur le classement d'origineModèle au classement d'origineScore brutConfiguration de référence
1gemini-4-carbonGoogle84.2%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
2gemini-4-argonGoogle82.4%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
3claude-fable-5-2Anthropic80.1%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
4gemini/gemini-4-hydrogen-eapGoogle78.0%xHigh « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
5tencent/hy4Tencent77.6%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
6claude-sonnet-5-5Anthropic75.5%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
7claude-opus-5-5Anthropic73.5%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
8responses/aurora-alphaOpenAI72.2%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
9grok-4.7xAI70.0%xHigh « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
10deepseek-v4-1-flash-1017DeepSeek69.8%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
11claude-fable-5.1Anthropic68.6%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
12gpt-6-1-terraOpenAI68.3%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
13gemini-3.7-flashGoogle67.8%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
14responses/halo-alphaOpenAI66.6%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
15muse-wonder-1-0-maxMeta66.1%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
16claude-opus-5Anthropic65.8%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
17kimi-k3.1-proMoonshot AI65.5%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
18grok-4-6-xhighxAI65.3%xHigh « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
19gpt-6-astra-maxOpenAI64.7%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
20gemini-3.8-flashGoogle64.3%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
20muse-emberMeta64.3%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
22claude-fable-5Anthropic63.6%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
23qwen-3-8-max-xhighAlibaba63.3%xHigh « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
24tencent/hy4-flashTencent62.4%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
25gpt-6-1-solOpenAI60.0%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
28gpt-5.6-terra-maxOpenAI58.2%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
29mimo-v2.6-flash-rlXiaomi57.4%système complet · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
30glm-5-3Z.ai56.6%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
31grok-4-5xAI56.2%High « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
32claude-haiku-5-5Anthropic56.1%Max « inférence » · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
Limites de l'évaluation et attribution des données

Limité aux tâches de banque d'affaires, de conseil et de droit ; la page d'origine ne fournit pas de date d'évaluation par modèle, et la raison de quelques exécutions manquantes n'est pas divulguée. Ce score ne peut pas être interprété comme la fiabilité de tout travail de bureau.

Licence des données :résultats publics officiels ; la licence des données et du code ne vaut pas autorisation de rediffusion du classement

Résultats publiés par Mercor ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.