PRBench · Finance
Scale AI / Travail professionnel · Répond à de vraies questions de décision financière, pour évaluer le jugement professionnel, le raisonnement et l'exposé des risques.
Ce qu'il mesure, comment il le mesure
Fige l'un des deux : Finance complet avec 600 questions ou Hard avec 300 ; outils de recherche, niveau de raisonnement et version des juges restent identiques. Utilise le score agrégé de la rubric de ce jeu de questions, sans compter deux fois l'ensemble complet et le sous-ensemble difficile, et sans prendre un questions-réponses spécialisé pour une tâche bureautique de bout en bout.
Comment utiliser ces preuves
En observation : peut fournir des preuves de jugement financier professionnel ; jeu de questions, conditions d'outils, export stable et limites de réaffichage à vérifier ; pour l'instant, seule la source est référencée, sans collecte ni notation automatiques.
Limites de l'évaluation et attribution des données
Évalué par des juges modèles, cela ne prouve pas qu'une modélisation financière ou la création de tableurs a été menée à bien ; comme PRBench Legal et MCP Atlas, il relève de Scale, et multiplier les classements ne doit pas accroître le poids de l'organisme.
Licence des données :La banque de questions et le code d'évaluation officiels sont publics ; leur licence ne couvre pas automatiquement les scores du classement en temps réel, et l'export stable des derniers scores ainsi que les limites de réaffichage restent à confirmer.
Résultats publiés par Scale AI ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.