Qwen3.8 27B addition en mots
Pour commencer
Le 5 octobre 2026, Simon Willison a publié un benchmark testant si le modèle local Qwen3.8-27B-Q4_K_M.gguf pouvait additionner des entiers positifs et exprimer le résultat uniquement en mots anglais. Sans raisonnement, sur 5 070 cas, la précision numérique est de 23,57 %, chutant de 97,04 % pour 1-3 chiffres à 6,44 % pour 10-13 chiffres, malgré 96,17 % de conformité de format. Avec raisonnement activé, sur 169 essais uniques, 167 réponses correctes.
AI Généré à partir des reportages · 2 hmise à jour
Chronologie des reportages
Suivez les reportages pour découvrir les différentes facettes de l'événement.
- Simon WillisonQwen3.8 27B addition en mots : un benchmark sur l'addition verbale
Le modèle local Qwen3.8-27B-Q4_K_M a atteint 23,57 % de précision numérique sur 5 070 cas d'addition d'entiers positifs exprimés uniquement en mots anglais avec raisonnement désactivé.
Évolution des tendances de cet événement
Pas encore assez de données d'observation continues pour tracer une tendance.