Entraîner des modèles d'embedding statiques 400 fois plus vite avec Sentence Transformers
Le blog Hugging Face présente une méthode pour entraîner des modèles d'embedding statiques 400 fois plus vite avec Sentence Transformers.
Le blog Hugging Face présente une méthode pour entraîner des modèles d'embedding statiques 400 fois plus vite avec Sentence Transformers.
Hugging Face présente smolagents, une bibliothèque d'agents dont les actions sont écrites en code.
Hugging Face présente ModernBERT, un nouveau modèle destiné à remplacer BERT. Le billet de blog est publié sur le site de Hugging Face.
Hugging Face Blog annonce l'arrivée de la famille de modèles ouverts Falcon 3.
Google publie PaliGemma 2, une nouvelle série de modèles de vision-langage, annoncée sur le blog de Hugging Face. Le contenu disponible ne fournit pas d'autres détails sur les capacités.
Hugging Face publie SmolVLM, un modèle de vision-langage de petite taille présenté comme léger mais performant.
Hugging Face annonce le lancement de Hugging Face Generative AI Services (HUGS).
Hugging Face et l'équipe CinePile publient CinePile 2.0.
Hugging Face intègre Guardian de Protect AI comme scanner tiers pour détecter les exploits dans les modèles partagés sur le Hub. Tous les dépôts de modèles publics sont analysés automatiquement dès l'envoi des fichiers, sans action requise des utilisateurs, et les résultats s'affichent dans une interface remaniée avec un bouton Pickle dédié. Guardian détecte notamment les exécutions de code arbitraire via pickle et les couches Lambda de Keras, alors que des centaines de millions de fichiers ont déjà été scannés sur plus d'un million de dépôts.
Hugging Face publie Transformers.js v3, qui ajoute le support WebGPU (jusqu'à 100x plus rapide que WASM).
Motif de la recommandation :L'annonce détaille le support WebGPU, les nouveaux formats de quantification et la compatibilité multi-runtimes, ce qui aide à évaluer l'exécution de modèles dans le navigateur.
Hugging Face déploie son projet Speech-to-Speech (S2S) sur Inference Endpoints via une image Docker personnalisée.
dottxt et Hugging Face annoncent la publication d'outlines-core, un portage en Rust des algorithmes centraux d'outlines pour la génération structurée.
Stable Diffusion 3.5 Large (8B) est disponible sur Hugging Face Hub et utilisable avec Diffusers.
Motif de la recommandation :L'article détaille les changements d'architecture de SD3.5 et fournit des exemples de code pour l'inférence, la quantification et l'entraînement LoRA.
Keras prend en charge Llama 3.2 dès le jour de sa sortie, permettant de charger directement les checkpoints Hugging Face au format safetensors.
L'équipe Hugging Face Transformers a corrigé un bug d'accumulation de gradient signalé par Unsloth et @bnjmn_marie.
Hugging Face a confié à Trail of Bits un audit de sécurité indépendant de Gradio.
Motif de la recommandation :L'audit indépendant de Trail of Bits détaille les vulnérabilités corrigées dans Gradio 5, utile pour évaluer la sécurité des applications ML déployées.
AMD dévoile son CPU serveur EPYC de 5e génération (Turin), basé sur l'architecture Zen5.
Hugging Face et Dask permettent de traiter le dataset FineWeb à l'échelle de 211 millions de lignes en parallélisant l'inférence du classifieur FineWeb-Edu sur plusieurs GPU dans le cloud. Le dataset FineWeb contient 15 000 milliards de tokens issus de Common Crawl, soit 432 Go sur disque et environ 715 Go en mémoire répartis sur 250 fichiers Parquet. Dask DataFrame reproduit l'API pandas et gère le calcul out-of-core en découpant les données en chunks, avec écriture distribuée au format Parquet et squash de l'historique des commits via HfApi.
Hugging Face annonce la version stable de Gradio 5.
Motif de la recommandation :L'annonce détaille les améliorations de performance, de design et de streaming de Gradio 5, utile pour juger de son adoption en production.
Hugging Face et Intel Labs présentent le décodage spéculatif dynamique, une méthode qui accélère la génération de texte jusqu'à 2.
Motif de la recommandation :L'article présente la méthode de décodage spéculatif dynamique d'Intel Labs et Hugging Face, avec des gains de vitesse allant jusqu'à 2,7x et son intégration par défaut dans Transformers 4.45.0.
Hugging Face présente l'Open FinLLM Leaderboard, un cadre d'évaluation spécialisé pour les LLM appliqués à la finance. Le classement couvre sept catégories de tâches — extraction d'informations, analyse textuelle, question-réponse, génération de texte, gestion des risques, prévision et prise de décision — avec des métriques comme Accuracy, F1, ROUGE et MCC. L'évaluation est menée en zero-shot, sans fine-tuning préalable, sur des jeux de données reflétant des défis réels du secteur financier.
En 2024, sur 1 500 entreprises d'IA actives dans le monde, 751 sont basées en Chine et 103 s'exportent déjà à l'étranger.
Hugging Face présente BenCzechMark, première suite d'évaluation complète des LLM en tchèque.
Hugging Face publie InstantTexture, une bibliothèque Python qui convertit les maillages à couleurs par sommet (comme ceux produits par InstantMesh) en maillages texturés avec UV mapping. L'outil s'installe via `pip install git+` et convertit un fichier.obj en.glb texturé en une seule commande. Le processus repose sur xatlas pour générer les UV, un remplissage par interpolation barycentrique dans un buffer de texture (1024 px, upscale_factor 2), puis inpainting, filtre médian, flou gaussien et sous-échantillonnage LANCZOS pour combler les trous.
Hugging Face publie les détails techniques de FineVideo, un jeu de données de 43 000 vidéos totalisant 3 400 heures.
Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.
Hugging Face détaille les fonctionnalités de sa page Daily Papers.
Hugging Face détaille l'optimisation et le déploiement de modèles Transformers sur edge et client via Optimum-Intel et OpenVINO GenAI.
Hugging Face explique comment fine-tuner un modèle Llama3 8B existant en quantification extrême 1.58 bit via l'architecture BitNet.
Motif de la recommandation :L'article détaille des astuces concrètes pour fine-tuner un modèle existant en 1.58 bit, avec code et benchmarks, ce qui permet de reproduire la méthode.
Hugging Face ajoute une SQL Console directement dans le Hub pour exécuter des requêtes SQL sur les datasets.
Hugging Face ajoute les Community Tools à HuggingChat.
Hugging Face a publié la première release candidate d'Accelerate 1.0.0, une bibliothèque d'entraînement distribué utilisée par transformers.
Motif de la recommandation :L'annonce détaille les changements cassants et les nouvelles intégrations de la version 1.0.0, ce qui aide les utilisateurs à évaluer la migration.
Hugging Face intègre TruffleHog à son pipeline de scan automatisé.
Hugging Face présente LeRobotDataset, un format de dataset robotique qui stocke les modalités visuelles en vidéo encodée plutôt qu'en images PNG individuelles.
Hugging Face Transformers prend désormais en charge l'entraînement avec des exemples d'instruction tuning packés sans padding.
Meta Llama 3.1 405B, le plus grand modèle ouvert de Meta sorti en juillet 2024, peut être déployé sur Vertex AI via un nœud Google Cloud A3 équipé de 8 GPU NVIDIA H100.
La reproduction d'Infini-Attention montre que ses performances se dégradent à mesure que la mémoire est compressée davantage.
ggml est une bibliothèque de machine learning écrite en C et C++ dédiée à l'inférence Transformer.
Hugging Face annonce une API unifiée d'appel d'outils couvrant plusieurs familles de modèles populaires.
Motif de la recommandation :L'API unifiée d'appel d'outils et les templates de chat permettent de porter le même code entre Mistral, Cohere, NousResearch et Llama, ce qui réduit le travail d'adaptation par modèle.
Le Technology Innovation Institute (TII) d'Abu Dhabi publie Falcon Mamba 7B, présenté comme le premier grand modèle 7B sans attention.
Motif de la recommandation :L'article détaille l'architecture sans attention, les benchmarks comparatifs et le support dans l'écosystème Hugging Face, utile pour évaluer les compromis des SSM.
Hugging Face annonce officiellement l'acquisition de XetHub, une entreprise de Seattle fondée par Yucheng Low.
Motif de la recommandation :L'annonce détaille l'acquisition de XetHub par Hugging Face et les gains attendus pour le stockage des dépôts de modèles et de jeux de données.