Aller au contenu
Hugging Face Blog·· 15 jsélectionAI Score73

Collinear AI publie CWE-bench v2, un benchmark de sécurité de 100 tâches couvrant 91 CWE

CWE-bench v2: More coverage, quality, and transparency

AI Introduction

Collinear AI publie CWE-bench v2, un ensemble public de 100 tâches où un agent doit trouver et corriger une faille de sécurité dans un dépôt open source réel sans casser les fonctionnalités existantes, avec une notation entièrement programmatique et reproductible. Les tâches couvrent 91 CWE différents et un ensemble held-out reste réservé pour suivre les progrès sur des tâches qu'aucun modèle n'a vues. Sur les 11 modèles évalués, Gemini 4 Argon mène avec 67,8 % pass@1 et 81,0 % pass@4, devant Claude Opus 5.5 (67,3 % pass@1, 78,0 % pass@4) ; 95 tâches sont résolues par au moins un modèle, mais le leader échoue encore sur 19 % de l'ensemble à chaque tentative. Le dataset, le grader et le harness sont ouverts, et les tâches sont exécutables depuis le Hub via Harbor.

Raison de la recommandation

Le benchmark public de 100 tâches couvre 91 CWE et fournit un classement reproductible, utile pour situer les capacités de sécurité des modèles.

Source :Hugging Face Blog · huggingface.co