FinanceBenchmark
FinanceBenchmark / Travail professionnel · Réalise des tâches de tarification financière, de calcul de capital et de contrôle des risques, vérifiées par des valeurs numériques et l'exécution de code.
Ce qu'il mesure, comment il le mesure
Les jeux de questions v2 et v3 sont séparés des versions d'environnement d'exécution ; la condition de trois tentatives par question est conservée. Sur le site officiel, « Tasks passed » désigne au moins une réussite, mais est aussi appelé « Pass@1, @1 », à ne pas confondre avec le taux de justesse moyen d'un seul essai ; Finance Index est aussi un autre indicateur agrégé.
Comment utiliser ces preuves
En observation : peut fournir des preuves financières à réponse déterminée et vérifiées par code ; la définition des indicateurs reste à vérifier, le téléchargement JSON des résultats Sol officiels a renvoyé 404 cette fois ; pour l'instant, seule la source est référencée, sans collecte ni notation automatiques.
Limites de l'évaluation et attribution des données
Trois tentatives dont au moins une réussie ne valent pas un taux de réussite par essai ; les intervalles doivent correspondre au bon indicateur, et les alias glissants de modèles doivent aussi être vérifiés en version. Le fait que la banque de questions et le bouton de téléchargement soient publics ne signifie pas que les scores bruts sont récupérables.
Licence des données :Le code du dépôt officiel est sous MIT, le site exige de conserver la référence à FinanceBenchmark ; les limites d'usage d'un export complet des scores en temps réel ne sont pas confirmées, et la licence du code ne remplace pas celle des données de classement.
Résultats publiés par FinanceBenchmark ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.