Hugging Face Blog·· 2023-06-23sélectionAI Score60
Ce qui se passe avec le classement Open LLM : pourquoi les scores MMLU divergent
What's going on with the Open LLM Leaderboard?
AI Introduction
Le classement Open LLM, qui s'appuie sur la bibliothèque EleutherAI LM Evaluation Harness.
Raison de la recommandation
L'article détaille pourquoi un même benchmark MMLU donne des scores et classements différents selon l'implémentation, un point clé pour interpréter les classements de modèles.
Source :Hugging Face Blog · huggingface.co