Aller au contenu
17 novembremar.
4 novembremer.
  1. Hugging Face Blog62

    Même modèle, harness différent : CUGA, Hermes et Deep Agents comparés sur AppWorld

    L'équipe CUGA d'IBM a fait tourner CUGA, Hermes et Deep Agents avec le même modèle open-weight GLM-5.3-flash sur 90 tâches AppWorld.

    Motif de la recommandation :Une comparaison contrôlée à modèle constant quantifie l'écart entre harnesses et détaille les points d'application des règles d'entreprise.

30 septembremer.
29 septembremar.
  1. Hugging Face Blog70

    NVIDIA publie Kumo Tabular, un modèle de fondation open source pour les données tabulaires

    NVIDIA publie Kumo Tabular, un modèle de fondation open source pour la classification et la régression sur données tabulaires.

    Motif de la recommandation :NVIDIA ouvre un modèle de fondation tabulaire pré-entraîné uniquement sur des données synthétiques, avec poids et bibliothèque d'inférence, ce qui permet de mesurer le passage des arbres boostés à l'apprentissage en contexte.

22 septembremar.
2 septembremer.
  1. Hugging Face Blog36

    BenchMIRT : que mesurent réellement les benchmarks de LLM ?

    Hugging Face présente BenchMIRT, une méthode qui applique l'Item Response Theory multidimensionnelle (MIRT) au niveau de chaque prompt pour auditer les benchmarks de LLM. Entraînée sur les résultats de 100 LLM, 16 benchmarks et plus de 34K questions, elle identifie sans supervision deux dimensions dominantes : sécurité et raisonnement général. L'analyse montre que les scores de BBQ et WMDP sont davantage liés au raisonnement général qu'à la sécurité, et que les questions de copyright de HarmBench se rapprochent aussi du raisonnement général, signe qu'un score unique peut mélanger plusieurs signaux.

28 aoûtven.
27 aoûtjeu.
15 juilletmer.
  1. Hugging Face Blog60

    Hume lance Real World VoiceEQ, un benchmark pour mesurer la qualité humaine de l'IA vocale

    Hume présente Real World VoiceEQ, un benchmark conçu pour évaluer la qualité humaine des interactions vocales.

    Motif de la recommandation :Le benchmark couvre plus de 40 modèles vocaux et 15 dimensions, avec des données d'évaluation humaine à grande échelle qui permettent de comparer les capacités réelles des systèmes vocaux.

1 juilletmer.
30 juinmar.
6 maimer.
  1. Hugging Face Blog38

    Hugging Face ajoute des datasets privés à l'Open ASR Leaderboard pour contrer le benchmaxxing

    Hugging Face a intégré des datasets audio privés d'Appen Inc. et DataoceanAI à l'Open ASR Leaderboard afin de limiter les risques de benchmaxxing et de contamination des jeux de test. Ces données couvrent de l'anglais scripté et conversationnel sur plusieurs accents (australien, canadien, indien, américain, britannique), avec des durées allant de 1,02 h à 8,82 h selon les splits. Le WER moyen par défaut reste calculé uniquement sur les datasets publics, un toggle permettant d'inclure les datasets privés ; les scores par split ne sont volontairement pas publiés pour éviter les optimisations ciblées.

21 avrilmar.
  1. Hugging Face Blog40

    QIMMA قِمّة : un leaderboard arabe LLM axé sur la qualité des benchmarks

    Hugging Face présente QIMMA قِمّة, un leaderboard arabe de LLM qui valide la qualité des benchmarks avant d'évaluer les modèles. La plateforme agrège 109 sous-ensembles issus de 14 benchmarks, soit plus de 52 000 échantillons couvrant 7 domaines, avec 99 % de contenu natif arabe et la première évaluation de code en arabe via HumanEval+ et MBPP+. Le pipeline de validation, combinant Qwen3-235B-A22B-Instruct et DeepSeek-V3-671B puis une revue humaine, a écarté jusqu'à 3,1 % des échantillons d'ArabicMMLU, révélant des problèmes systématiques de réponses, de formatage et de sensibilité culturelle.

1 avrilmer.
31 marsmar.
  1. Hugging Face Blog67

    IBM publie Granite 4.0 3B Vision, un VLM compact pour les documents d'entreprise

    IBM annonce Granite 4.0 3B Vision, un modèle vision-langage compact destiné à l'extraction d'informations dans les documents d'entreprise.

    Motif de la recommandation :Le modèle compact et son adaptateur LoRA sont décrits avec les benchmarks de tableaux, graphiques et KVP, ce qui aide à juger son intérêt pour l'extraction documentaire.

17 marsmar.
4 févriermer.
27 janviermar.
6 janviermar.
9 décembremar.
4 décembrejeu.
30 octobremer.
4 octobreven.
  1. Hugging Face Blog40

    Hugging Face lance le classement Open FinLLM Leaderboard pour l'évaluation des LLM financiers

    Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.

1 octobremar.
25 juilletjeu.
1 juilletlun.
18 juinmar.
5 maidim.
3 maiven.
30 avrilmar.
23 avrilmar.
  1. Hugging Face Blog38

    Hugging Face lance le classement Open Chain of Thought

    Hugging Face présente l'Open CoT Leaderboard, un classement qui mesure le gain de précision apporté par le chain-of-thought (Δ = précision avec CoT – précision sans CoT) plutôt que la précision absolue des LLM. Il évalue les tâches LogiQA, LSAT et AGIEval/logikon-bench, en rendant les modèles plus robustes à la contamination des données d'entraînement. Deux stratégies de génération de traces de raisonnement sont implémentées : Classic (« Let's think step by step ») et Reflect.

19 avrilven.
5 marsmar.
20 févriermar.
2 févrierven.
31 janviermer.
29 janvierlun.
26 janvierven.
24 janviermer.
12 janvierven.