τ³-Banking
Sierra / Travail professionnel · Effectuer des opérations bancaires dans un environnement d'outils unifié ; évaluer la compréhension des règles, la communication client et l'accomplissement des tâches.
Ce qu'il mesure, comment il le mesure
Comparer uniquement les tâches bancaires standard officielles, la v1.0.1, alltools et GPT-5.2 simulateur d'utilisateur ; avec pass@1. Les différents outils, prompts, simulateurs, modes vocaux et systèmes personnalisés ne sont pas mélangés.
Comment utiliser ces preuves
En attente d'un protocole à modèle unique unifié et de scores bruts comparables ; pour l'instant, aucun score n'est attribué et les scores manquants ne sont pas détournés.
Limites de l'évaluation et attribution des données
Les scores portent sur un système de tâches bancaires figé, dépendant de simulateurs d'utilisateurs et de protocoles d'outils ; ce n'est pas un taux de réussite générique pour tous les métiers.
Licence des données :MIT · Sierra Research tau2-bench dépôt officiel ; attribution de la source conservée.
Résultats publiés par Sierra ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.