Aller au contenu
4 octobreven.
  1. Hugging Face Blog40

    Hugging Face lance le classement Open FinLLM Leaderboard pour l'évaluation des LLM financiers

    Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.

1 octobremar.
25 juilletjeu.
1 juilletlun.
18 juinmar.
5 maidim.
3 maiven.
30 avrilmar.
23 avrilmar.
  1. Hugging Face Blog38

    Hugging Face lance le classement Open Chain of Thought

    Hugging Face présente l'Open CoT Leaderboard, un classement qui mesure le gain de précision apporté par le chain-of-thought (Δ = précision avec CoT – précision sans CoT) plutôt que la précision absolue des LLM. Il évalue les tâches LogiQA, LSAT et AGIEval/logikon-bench, en rendant les modèles plus robustes à la contamination des données d'entraînement. Deux stratégies de génération de traces de raisonnement sont implémentées : Classic (« Let's think step by step ») et Reflect.

19 avrilven.
5 marsmar.
20 févriermar.
2 févrierven.
31 janviermer.
29 janvierlun.
26 janvierven.
24 janviermer.
12 janvierven.
1 décembreven.
  1. Hugging Face Blog52

    Open LLM Leaderboard retire le benchmark DROP après avoir identifié des erreurs de notation

    Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.

26 septembremar.
  1. Hugging Face Blog32

    Llama 2 sur Amazon SageMaker : un benchmark

    Hugging Face a publié un benchmark de plus de 60 configurations de déploiement de Llama 2 sur Amazon SageMaker avec le Hugging Face LLM Inference Container. Les tests couvrent les tailles 7B, 13B et 70B sur des instances g5.2xlarge, g5.12xlarge, g5.48xlarge (NVIDIA A10G) et p4d.24xlarge (NVIDIA A100 40GB), avec 1, 5, 10 et 20 requêtes simultanées, en comparant notamment la quantification GPTQ 4-bit. Les recommandations distinguent le déploiement le plus économique, le meilleur débit et la meilleure latence ; le code, les données brutes et le tableur sont publiés sur GitHub.

18 septembrelun.
23 juinven.
27 maisam.
  1. CNC Kitchen78

    Évaluation de la buse E3D Revo High Flow

    CNC Kitchen a testé la buse E3D Revo High Flow, développée avec Bondtech, et mesure un débit maximal de 23.

    Motif de la recommandation :Des tests de débit et de consommation comparent la Revo High Flow à la CHT et au modèle standard, avec des chiffres exploitables pour choisir sa buse.

1 avrilsam.
  1. CNC Kitchen75

    Buse CHT à haut débit pour BambuLab X1 et P1P : test de débit et de résistance

    CNC Kitchen a testé une buse CHT à haut débit installée sur un hotend tiers pour BambuLab X1 et P1P. Sur un test d'extrusion en mode vase avec du Voxel PLA à 220 °C.

    Motif de la recommandation :Des tests de débit et d'adhérence couche par couche quantifient le gain d'une buse CHT sur BambuLab X1 et P1P, avec les limites observées.

19 marsdim.
19 octobremer.
  1. Hugging Face Blog60

    MTEB : un benchmark massif pour les modèles d'embedding de texte

    Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.

    Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.

3 octobrelun.
19 marssam.
  1. CNC Kitchen75

    Évaluation du E3D RapidChange REVO : changement de buse à froid et dérive thermique mesurée

    L'auteur a testé le système de hotend E3D RapidChange Revo pendant plusieurs centaines d'heures et le présente comme un successeur crédible du V6. Le changement de buse se fait à froid et à la main, sans outil, car buse et heatbreak ne forment qu'une seule pièce, ce qui supprime le serrage à chaud et réduit le risque de fuite ou de filetage endommagé. Les tests montrent une qualité d'impression équivalente au V6, une zone de fusion légèrement plus longue et un débit utile jusqu'à environ 16 mm³/s, mais aussi une température réelle dans la buse inférieure à celle affichée et une chute d'environ 10 °C lorsque le ventilateur de refroidissement de la pièce souffle sur la buse, un effet propre à la conception à heater annulaire. Le Revo Six coûte 70 livres, environ 40 % de plus qu'un V6 assemblé, et les buses sont vendues 19 livres ; les buses résistantes à l'abrasion et les variantes haut débit n'étaient pas encore disponibles au moment de la publication.

    Motif de la recommandation :L'auteur a testé le Revo pendant des centaines d'heures et documente la dérive de température liée au refroidissement de la pièce, un point rarement mesuré.

5 marssam.
23 octobresam.
12 juinsam.
  1. CNC Kitchen75

    Évaluation du Prusament PC Blend : performances mécaniques et sensibilité à l'humidité

    CNC Kitchen a testé le Prusament PC Blend de Prusa sur une Original Prusa MK3S sans caisson.

    Motif de la recommandation :L'essai compare les performances mécaniques et la résistance à l'humidité du PC Blend de Prusament, avec des données chiffrées sur la résistance à la traction et la ténacité.

29 maisam.
6 févriersam.
7 novembresam.
3 octobresam.
20 juinsam.
10 maidim.
26 octobresam.