Ai2 publie FairStress, un benchmark qui évalue l'équité des LLM au-delà de la décision finale

Ai2 présente FairStress, un benchmark mesurant l'équité démographique des LLM non seulement sur la décision finale mais aussi sur la résistance à des arguments persuasifs et sur les explications. Il couvre 300 scénarios réalistes dans 29 domaines, dont recrutement, santé, prêt, éducation et logement, et se décline en plus de 13 millions de cas de test ainsi qu'en un sous-ensemble FairStress-Core de 50K éléments intégré à Olmo-eval. Sur 15 modèles évalués, l'écart moyen d'abandon d'une réponse correcte atteint 6,9 points de pourcentage avec une identité implicite et 9,3 points avec une étiquette explicite, les modèles cédant plus facilement quand le changement favorise un candidat codé minoritaire. La plupart des neuf méthodes de débiaisage testées ne réduisent pas l'asymétrie de façon fiable, certaines au prix d'une forte baisse de précision, tandis que le counterfactual chain-of-thought la réduit en préservant largement la précision.