SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / Travail professionnel · Réalise l'ensemble d'un travail sur tableur : modélisation financière, correction de classeurs et visualisation de données.
Ce qu'il mesure, comment il le mesure
Fige les 321 tâches de la V2 et des conditions SWE-agent unifiées ; les scores des produits bureautiques autonomes et d'autres scaffolds ne sont pas attribués au modèle de base. La justesse d'une visualisation de tableur n'équivaut pas à une esthétique générale.
Comment utiliser ces preuves
En observation : le JSON stable et les dates ligne par ligne existent, mais la couverture des modèles de base dans les conditions unifiées actuelles est insuffisante ; attendre les mesures des modèles actuels avant d'intégrer les scores.
Limites de l'évaluation et attribution des données
En observation : le JSON stable et les dates ligne par ligne existent, mais la couverture des modèles de base dans les conditions unifiées actuelles est insuffisante ; attendre les mesures des modèles actuels avant d'intégrer les scores.
Licence des données :Le pied de page du site officiel déclare une licence MIT ; les points d'accès au jeu de données et au code sont publics.
Résultats publiés par SpreadsheetBench / Renmin University / AfterQuery ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.