Aller au contenu
  1. Hugging Face Blog62

    Même modèle, harness différent : CUGA, Hermes et Deep Agents comparés sur AppWorld

    L'équipe CUGA d'IBM a fait tourner CUGA, Hermes et Deep Agents avec le même modèle open-weight GLM-5.3-flash sur 90 tâches AppWorld.

    Motif de la recommandation :Une comparaison contrôlée à modèle constant quantifie l'écart entre harnesses et détaille les points d'application des règles d'entreprise.

  1. Hugging Face Blog70

    NVIDIA publie Kumo Tabular, un modèle de fondation open source pour les données tabulaires

    NVIDIA publie Kumo Tabular, un modèle de fondation open source pour la classification et la régression sur données tabulaires.

    Motif de la recommandation :NVIDIA ouvre un modèle de fondation tabulaire pré-entraîné uniquement sur des données synthétiques, avec poids et bibliothèque d'inférence, ce qui permet de mesurer le passage des arbres boostés à l'apprentissage en contexte.

  1. Google DeepMind62

    Google DeepMind pilote les premières évaluations d'IA à double aveugle

    Google DeepMind annonce piloter la première évaluation à double aveugle d'un modèle de frontière propriétaire.

    Motif de la recommandation :L'article détaille un dispositif d'évaluation à double aveugle avec partenaires externes, utile pour comprendre comment la contamination des benchmarks est traitée techniquement.

  1. Hugging Face Blog60

    Hume lance Real World VoiceEQ, un benchmark pour mesurer la qualité humaine de l'IA vocale

    Hume présente Real World VoiceEQ, un benchmark conçu pour évaluer la qualité humaine des interactions vocales.

    Motif de la recommandation :Le benchmark couvre plus de 40 modèles vocaux et 15 dimensions, avec des données d'évaluation humaine à grande échelle qui permettent de comparer les capacités réelles des systèmes vocaux.

  1. Hugging Face Blog67

    IBM publie Granite 4.0 3B Vision, un VLM compact pour les documents d'entreprise

    IBM annonce Granite 4.0 3B Vision, un modèle vision-langage compact destiné à l'extraction d'informations dans les documents d'entreprise.

    Motif de la recommandation :Le modèle compact et son adaptateur LoRA sont décrits avec les benchmarks de tableaux, graphiques et KVP, ce qui aide à juger son intérêt pour l'extraction documentaire.

  1. Hugging Face Blog65

    Hugging Face lance Community Evals pour des évaluations ouvertes sur le Hub

    Hugging Face lance Community Evals, un système d'évaluation décentralisé sur le Hub.

    Motif de la recommandation :Hugging Face ouvre l'évaluation aux contributions communautaires et relie scores, modèles et benchmarks sur le Hub, ce qui change la façon de consulter et de reproduire les résultats.

  1. Hugging Face Blog71

    NVIDIA publie Cosmos Reason 2, un VLM de raisonnement ouvert pour l'IA physique

    NVIDIA a publié Cosmos Reason 2, un modèle de vision-langage de raisonnement ouvert destiné à l'IA physique.

    Motif de la recommandation :NVIDIA publie Cosmos Reason 2, un VLM de raisonnement ouvert pour l'IA physique, avec des tailles 2B et 8B et un contexte de 256K.

  1. Hugging Face Blog62

    Le Code Agent de Transformers dépasse le benchmark GAIA

    L'équipe Hugging Face indique que son Code Agent construit avec Transformers Agents atteint 44.

    Motif de la recommandation :L'original expose la conception d'un Code Agent et sa performance sur GAIA, avec des détails sur l'interpréteur sécurisé et l'orchestration multi-agents.

  1. Hugging Face Blog62

    Les LLM open source comme agents LangChain : fonctionnement et benchmark

    Hugging Face présente comment construire des agents ReAct avec des LLM open source via la classe ChatHuggingFace intégrée à LangChain.

    Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.

  1. Hugging Face Blog60

    Ce qui se passe avec le classement Open LLM : pourquoi les scores MMLU divergent

    Le classement Open LLM, qui s'appuie sur la bibliothèque EleutherAI LM Evaluation Harness.

    Motif de la recommandation :L'article détaille pourquoi un même benchmark MMLU donne des scores et classements différents selon l'implémentation, un point clé pour interpréter les classements de modèles.

  1. Hugging Face Blog60

    MTEB : un benchmark massif pour les modèles d'embedding de texte

    Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.

    Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.

Fin de la liste