Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.
Hugging Face présente LAVE (LLM-Assisted VQA Evaluation), une métrique d'évaluation VQA assistée par LLM qui note les réponses de 1 à 3 via Llama-2-Chat-7b.
Motif de la recommandation :L'original expose la conception d'un Code Agent et sa performance sur GAIA, avec des détails sur l'interpréteur sécurisé et l'orchestration multi-agents.
Hugging Face présente l'Open CoT Leaderboard, un classement qui mesure le gain de précision apporté par le chain-of-thought (Δ = précision avec CoT – précision sans CoT) plutôt que la précision absolue des LLM. Il évalue les tâches LogiQA, LSAT et AGIEval/logikon-bench, en rendant les modèles plus robustes à la contamination des données d'entraînement. Deux stratégies de génération de traces de raisonnement sont implémentées : Classic (« Let's think step by step ») et Reflect.
Hugging Face présente le Hallucinations Leaderboard, une plateforme ouverte évaluant les LLM sur des benchmarks dédiés aux hallucinations via in-context learning.
Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.
Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.
Hugging Face a publié un benchmark de plus de 60 configurations de déploiement de Llama 2 sur Amazon SageMaker avec le Hugging Face LLM Inference Container. Les tests couvrent les tailles 7B, 13B et 70B sur des instances g5.2xlarge, g5.12xlarge, g5.48xlarge (NVIDIA A10G) et p4d.24xlarge (NVIDIA A100 40GB), avec 1, 5, 10 et 20 requêtes simultanées, en comparant notamment la quantification GPTQ 4-bit. Les recommandations distinguent le déploiement le plus économique, le meilleur débit et la meilleure latence ; le code, les données brutes et le tableur sont publiés sur GitHub.
Hugging Face a mis en ligne un Object Detection Leaderboard qui classe les modèles de détection d'objets disponibles sur le Hub selon plusieurs métriques. Le classement s'appuie sur l'IoU.
Motif de la recommandation :L'article détaille pourquoi un même benchmark MMLU donne des scores et classements différents selon l'implémentation, un point clé pour interpréter les classements de modèles.
Motif de la recommandation :Des tests de débit et de consommation comparent la Revo High Flow à la CHT et au modèle standard, avec des chiffres exploitables pour choisir sa buse.
CNC Kitchen a testé une buse CHT à haut débit installée sur un hotend tiers pour BambuLab X1 et P1P. Sur un test d'extrusion en mode vase avec du Voxel PLA à 220 °C.
Motif de la recommandation :Des tests de débit et d'adhérence couche par couche quantifient le gain d'une buse CHT sur BambuLab X1 et P1P, avec les limites observées.
Motif de la recommandation :Un test comparatif de 10 filaments phosphorescents avec données de luminosité sur 10 heures et usure des buses, utile pour choisir selon l'intensité ou la durée.
Motif de la recommandation :Mesure la force d'extrusion et le rapport force-poids de dix extrudeurs 3D, avec des données comparables pour le choix d'une configuration.
Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.
Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.
L'auteur a testé le système de hotend E3D RapidChange Revo pendant plusieurs centaines d'heures et le présente comme un successeur crédible du V6. Le changement de buse se fait à froid et à la main, sans outil, car buse et heatbreak ne forment qu'une seule pièce, ce qui supprime le serrage à chaud et réduit le risque de fuite ou de filetage endommagé. Les tests montrent une qualité d'impression équivalente au V6, une zone de fusion légèrement plus longue et un débit utile jusqu'à environ 16 mm³/s, mais aussi une température réelle dans la buse inférieure à celle affichée et une chute d'environ 10 °C lorsque le ventilateur de refroidissement de la pièce souffle sur la buse, un effet propre à la conception à heater annulaire. Le Revo Six coûte 70 livres, environ 40 % de plus qu'un V6 assemblé, et les buses sont vendues 19 livres ; les buses résistantes à l'abrasion et les variantes haut débit n'étaient pas encore disponibles au moment de la publication.
Motif de la recommandation :L'auteur a testé le Revo pendant des centaines d'heures et documente la dérive de température liée au refroidissement de la pièce, un point rarement mesuré.
CNC Kitchen a testé la buse Bondtech CHT High Flow, qui divise le filament en trois canaux pour chauffer le matériau de l'intérieur. En test d'extrusion avec une buse de 0.
Motif de la recommandation :L'auteur découpe la buse et compare les débits mesurés face aux V6 et Volcano, ce qui éclaire le choix d'une buse haute vitesse.
Motif de la recommandation :L'essai compare les performances mécaniques et la résistance à l'humidité du PC Blend de Prusament, avec des données chiffrées sur la résistance à la traction et la ténacité.
Motif de la recommandation :L'évaluation détaille les performances de découpe et de gravure du FLUX Beamo sur plusieurs matériaux, ainsi que les limites de son espace de travail et de son filtre Beam Air.
Motif de la recommandation :L'essai détaille les défauts d'assemblage, de réglage PID et de tension de référence, ainsi que les correctifs appliqués, ce qui aide à évaluer le temps de mise en route réel.