NVIDIA Vera Rubin débute sur MLPerf avec des performances de pointe en entraînement et en inférence agentique
NVIDIA publie les premiers résultats MLPerf de sa plateforme Vera Rubin.
NVIDIA publie les premiers résultats MLPerf de sa plateforme Vera Rubin.
L'équipe CUGA d'IBM a fait tourner CUGA, Hermes et Deep Agents avec le même modèle open-weight GLM-5.3-flash sur 90 tâches AppWorld.
Motif de la recommandation :Une comparaison contrôlée à modèle constant quantifie l'écart entre harnesses et détaille les points d'application des règles d'entreprise.
Hugging Face a lancé l'Open TTS Leaderboard, un classement qui évalue les modèles TTS open source et multilingues via des métriques objectives.
NVIDIA publie Kumo Tabular, un modèle de fondation open source pour la classification et la régression sur données tabulaires.
Motif de la recommandation :NVIDIA ouvre un modèle de fondation tabulaire pré-entraîné uniquement sur des données synthétiques, avec poids et bibliothèque d'inférence, ce qui permet de mesurer le passage des arbres boostés à l'apprentissage en contexte.
Le UK AI Security Institute (AISI) publie via l'infrastructure d'EvalEval des résultats d'évaluation vérifiés pour cinq benchmarks — HealthBench.
Hugging Face présente BenchMIRT, une méthode qui applique l'Item Response Theory multidimensionnelle (MIRT) au niveau de chaque prompt pour auditer les benchmarks de LLM. Entraînée sur les résultats de 100 LLM, 16 benchmarks et plus de 34K questions, elle identifie sans supervision deux dimensions dominantes : sécurité et raisonnement général. L'analyse montre que les scores de BBQ et WMDP sont davantage liés au raisonnement général qu'à la sécurité, et que les questions de copyright de HarmBench se rapprochent aussi du raisonnement général, signe qu'un score unique peut mélanger plusieurs signaux.
Voice Arena et Hugging Face s'associent pour ajouter deux ensembles d'évaluation au classement Open ASR.
Google DeepMind annonce piloter la première évaluation à double aveugle d'un modèle de frontière propriétaire.
Motif de la recommandation :L'article détaille un dispositif d'évaluation à double aveugle avec partenaires externes, utile pour comprendre comment la contamination des benchmarks est traitée techniquement.
Hume présente Real World VoiceEQ, un benchmark conçu pour évaluer la qualité humaine des interactions vocales.
Motif de la recommandation :Le benchmark couvre plus de 40 modèles vocaux et 15 dimensions, avec des données d'évaluation humaine à grande échelle qui permettent de comparer les capacités réelles des systèmes vocaux.
Hugging Face présente ScarfBench, un benchmark ouvert évaluant les agents IA sur la migration de frameworks Java en entreprise.
Hugging Face et Every Eval Ever (EEE) sont désormais intercompatibles.
Hugging Face a intégré des datasets audio privés d'Appen Inc. et DataoceanAI à l'Open ASR Leaderboard afin de limiter les risques de benchmaxxing et de contamination des jeux de test. Ces données couvrent de l'anglais scripté et conversationnel sur plusieurs accents (australien, canadien, indien, américain, britannique), avec des durées allant de 1,02 h à 8,82 h selon les splits. Le WER moyen par défaut reste calculé uniquement sur les datasets publics, un toggle permettant d'inclure les datasets privés ; les scores par split ne sont volontairement pas publiés pour éviter les optimisations ciblées.
Hugging Face présente QIMMA قِمّة, un leaderboard arabe de LLM qui valide la qualité des benchmarks avant d'évaluer les modèles. La plateforme agrège 109 sous-ensembles issus de 14 benchmarks, soit plus de 52 000 échantillons couvrant 7 domaines, avec 99 % de contenu natif arabe et la première évaluation de code en arabe via HumanEval+ et MBPP+. Le pipeline de validation, combinant Qwen3-235B-A22B-Instruct et DeepSeek-V3-671B puis une revue humaine, a écarté jusqu'à 3,1 % des échantillons d'ArabicMMLU, révélant des problèmes systématiques de réponses, de formatage et de sensibilité culturelle.
Google Research montre, via un simulateur open source testé sur des jeux de données subjectifs (Toxicity.
IBM annonce Granite 4.0 3B Vision, un modèle vision-langage compact destiné à l'extraction d'informations dans les documents d'entreprise.
Motif de la recommandation :Le modèle compact et son adaptateur LoRA sont décrits avec les benchmarks de tableaux, graphiques et KVP, ce qui aide à juger son intérêt pour l'extraction documentaire.
Google Research a évalué six LLM — GPT-4o, Perplexity, Claude 3.5, Gemini Advanced Pro 1.5.
Hugging Face lance Community Evals, un système d'évaluation décentralisé sur le Hub.
Motif de la recommandation :Hugging Face ouvre l'évaluation aux contributions communautaires et relie scores, modèles et benchmarks sur le Hub, ce qui change la façon de consulter et de reproduire les résultats.
L'équipe de recherche présente Alyah (الياه, « étoile polaire » en émirati).
NVIDIA a publié Cosmos Reason 2, un modèle de vision-langage de raisonnement ouvert destiné à l'IA physique.
Motif de la recommandation :NVIDIA publie Cosmos Reason 2, un VLM de raisonnement ouvert pour l'IA physique, avec des tailles 2B et 8B et un contexte de 256K.
Google DeepMind et Kaggle lancent la suite de benchmarks FACTS, qui étend le FACTS Grounding Benchmark avec trois nouveaux benchmarks.
Motif de la recommandation :Le lecteur peut situer les quatre axes d'évaluation de la factualité et les écarts de performance entre les principaux modèles.
Google Research a présenté au NeurIPS 2025 le Massive Sound Embedding Benchmark (MSEB).
OpenAI introduit SimpleQA, un benchmark de factualité qui évalue la capacité des modèles de langage à répondre à des questions courtes et factuelles. Le benchmark cible les questions à réponse factuelle brève, mesurant ainsi la fiabilité factuelle des LLM.
Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.
Hugging Face présente BenCzechMark, première suite d'évaluation complète des LLM en tchèque.
Hugging Face présente LAVE (LLM-Assisted VQA Evaluation), une métrique d'évaluation VQA assistée par LLM qui note les réponses de 1 à 3 via Llama-2-Chat-7b.
L'équipe Hugging Face indique que son Code Agent construit avec Transformers Agents atteint 44.
Motif de la recommandation :L'original expose la conception d'un Code Agent et sa performance sur GAIA, avec des détails sur l'interpréteur sécurisé et l'orchestration multi-agents.
Hugging Face annonce la sortie de BigCodeBench, un benchmark de 1 140 tâches fonctionnelles issues de 139 bibliothèques.
Hugging Face lance un leaderboard ouvert dédié à l'évaluation des LLM en hébreu.
Artificial Analysis apporte son LLM Performance Leaderboard sur Hugging Face, un classement qui évalue qualité.
Hugging Face et Dottxt proposent d'utiliser la génération structurée, via la bibliothèque Outlines.
Hugging Face présente l'Open CoT Leaderboard, un classement qui mesure le gain de précision apporté par le chain-of-thought (Δ = précision avec CoT – précision sans CoT) plutôt que la précision absolue des LLM. Il évalue les tâches LogiQA, LSAT et AGIEval/logikon-bench, en rendant les modèles plus robustes à la contamination des données d'entraînement. Deux stratégies de génération de traces de raisonnement sont implémentées : Classic (« Let's think step by step ») et Reflect.
Hugging Face lance le Open Medical-LLM Leaderboard.
Des chercheurs de l'University of California Los Angeles ont publié ConTextual.
Upstage a lancé en septembre 2023 l'Open Ko-LLM Leaderboard, une plateforme d'évaluation ouverte dédiée aux LLM coréens.
Hugging Face met en ligne le NPHardEval Leaderboard.
L'équipe Patronus a annoncé l'Enterprise Scenarios Leaderboard, construit avec le Hugging Face Leaderboard Template.
Hugging Face présente le Hallucinations Leaderboard, une plateforme ouverte évaluant les LLM sur des benchmarks dédiés aux hallucinations via in-context learning.
Hugging Face publie un nouveau LLM Safety Leaderboard dédié à l'évaluation de la sécurité des LLM.
Hugging Face présente comment construire des agents ReAct avec des LLM open source via la classe ChatHuggingFace intégrée à LangChain.
Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.
Vectara a mis en ligne le HHEM Leaderboard, un classement open source dédié à la mesure de la fréquence d'hallucination des LLM.