Hyper-τ-bench
Sierra / programmation · Construire et tester, à partir de documents métier, un agent de service client fonctionnel.
Ce qu'il mesure, comment il le mesure
Mesure le développement et le débogage d'agents, à distinguer de l'exécution directe de services client τ³-Banking ; les outils de développement, la durée d'exécution et l'environnement de validation étant fixes, on ne peut pas choisir le meilleur score entre systèmes.
Comment utiliser ces preuves
En observation : peut compléter la programmation et le développement de systèmes métier ; commencer par l'examen des résultats bruts, des licences et des conditions d'exécution fixes ; pas de notation automatique du seul fait d'une nouvelle publication.
Limites de l'évaluation et attribution des données
En observation : peut compléter la programmation et le développement de systèmes métier ; commencer par l'examen des résultats bruts, des licences et des conditions d'exécution fixes ; pas de notation automatique du seul fait d'une nouvelle publication.
Licence des données :Limites d'usage des données du classement à confirmer
Résultats publiés par Sierra ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.