Harvey Legal Agent Benchmark
Vals AI / Harvey / Travail professionnel · Traite des documents juridiques et livre des fichiers relisibles au format Word, Excel, diaporama, etc.
Ce qu'il mesure, comment il le mesure
Fige le jeu de test privé Harvey, les six outils de fichiers et les compétences docx, xlsx, pptx, Internet désactivé ; retient la moyenne du taux de réussite sur tâche complète de deux juges, sans remplacer par le taux de réussite conditionnel par critère. Fable 5 inclut Opus 4.8 repli ; les 11.25% ne peuvent pas être attribués à un seul modèle ; l'officiel liste en outre, sans repli, 10.42%, à examiner selon une politique de configuration unifiée.
Comment utiliser ces preuves
En observation : priorité à compléter les preuves de travail juridique complet ; export stable des scores, configuration et limites de réaffichage restent à mettre en place ; pour l'instant, seule la source est référencée, sans collecte ni notation automatiques.
Limites de l'évaluation et attribution des données
Le repli de modèle et les conditions des juges affectent la comparabilité ; un taux de réussite conditionnel d'environ 90 % ne signifie pas que la tâche entière est terminée. Les multiples benchmarks spécialisés de Vals ne comptent pas comme plusieurs organismes indépendants, et leur nombre dans le classement ne doit pas accroître le poids total.
Licence des données :Les scores publics officiels sont consultables ; la licence open source de la banque de questions et du code de Harvey ne couvre pas automatiquement les scores du test privé Vals, et les limites de réaffichage des données de classement restent à confirmer.
Résultats publiés par Vals AI / Harvey ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.