Hugging Face : exécuter Mistral 7B avec Core ML sur Mac
Le blog Hugging Face détaille comment exécuter Mistral 7B sur Mac via Core ML, en utilisant les nouvelles fonctionnalités de la WWDC 24 comme les tenseurs Swift.
Le blog Hugging Face détaille comment exécuter Mistral 7B sur Mac via Core ML, en utilisant les nouvelles fonctionnalités de la WWDC 24 comme les tenseurs Swift.
Hugging Face détaille la création d'un chatbot pour Argilla 2.0 en s'appuyant sur distilabel pour générer un dataset synthétique et fine-tuner un modèle d'embedding spécialisé. Le processus couvre le chunking de la documentation technique (environ 256 tokens par chunk), la génération de questions synthétiques et d'exemples négatifs difficiles, la création d'une base vectorielle et le déploiement du chatbot sur Hugging Face Spaces. Les interactions sont stockées dans Argilla pour une évaluation et une amélioration continues.
La bibliothèque TRL prend désormais en charge l'optimisation directe des préférences (DPO) pour les modèles vision-langage (VLM).
Intel et MILA ont porté le modèle de langage protéique ProtST sur l'accélérateur Intel Gaudi 2 via la bibliothèque Optimum for Intel Gaudi.
Le modèle vision-langage Florence-2 de Microsoft (0,2B et 0,7B paramètres) peut être fine-tuné pour la réponse visuelle à des questions (VQA).
Hugging Face Accelerate expose désormais DeepSpeed et PyTorch FSDP de manière harmonisée.
Hugging Face présente l'outil TGI Benchmarking, installé avec Text Generation Inference.
Sentence Transformers, la bibliothèque Python de Hugging Face, permet de fine-tuner des modèles d'embedding pour des tâches comme le RAG.
Intel présente dans un blog comment déployer des applications RAG d'entreprise via OPEA (Open Platform for Enterprise AI).
Hugging Face montre comment déployer sur Inference Endpoints un pipeline combinant Whisper (openai/whisper-large-v3).
Zama a mis en ligne des modèles Concrete ML pré-compilés sur Hugging Face Endpoints.
Gradio propose un mode reload qui permet de recharger automatiquement les modifications du code source sans redémarrer le serveur.
Hugging Face publie un guide sur les vision language models (VLM), des modèles multimodaux qui prennent en entrée images et texte pour générer du texte.
MotherDuck et Numbers Station ont publié DuckDB-NSQL-7B, un LLM spécialisé dans le DuckDB SQL.
Hugging Face montre que l'optimisation d'un modèle SetFit avec Optimum Intel permet d'accélérer l'inférence de 7.
Hugging Face Transformers est une bibliothèque Python open source donnant accès à des milliers de modèles Transformer pré-entraînés pour le NLP.
Hugging Face montre comment exécuter le modèle Phi-2 (2,7 milliards de paramètres) quantifié en 4 bits sur un laptop équipé d'un CPU Intel Core Ultra 7 155H.
Le blog Hugging Face présente GaLore, une méthode qui projette les gradients dans un sous-espace de bas rang pour réduire la mémoire des états d'optimiseur de plus de 82.
Motif de la recommandation :L'article détaille la réduction de plus de 82,5 % de la mémoire des états d'optimiseur et fournit un exemple exécutable avec transformers, utile pour l'entraînement sur GPU grand public.
Hugging Face détaille un pipeline de génération de texte pour les modèles Llama 2 (7b.
Hugging Face détaille dans un article les méthodes de watermarking des contenus générés par IA.
Hugging Face présente les modèles d'embedding Matryoshka, qui produisent des embeddings utiles à plusieurs dimensions (par exemple 768.
Hugging Face détaille le fine-tuning PEFT des modèles Gemma de Google DeepMind (2B et 7B.
Hugging Face détaille une méthode pour créer des données synthétiques avec le LLM open source Mixtral-8x7B-Instruct-v0.1 afin d'entraîner un petit modèle spécialisé.
Motif de la recommandation :Un cas concret de distillation par données synthétiques avec coûts, latence et émissions comparés à GPT-4, et des notebooks réutilisables.
Hugging Face publie un guide pratique d'utilisation de PatchTST.
Hugging Face détaille plus de 7x d'accélération de l'inférence du modèle StarCoder-15B sur les processeurs Intel Xeon de 4e génération.
Hugging Face présente comment construire des agents ReAct avec des LLM open source via la classe ChatHuggingFace intégrée à LangChain.
Motif de la recommandation :L'article détaille le fonctionnement interne des agents ReAct et fournit un benchmark comparant plusieurs LLM open source à GPT-3.5 et GPT-4.
Hugging Face détaille le fine-tuning de Wav2Vec2-BERT (checkpoint facebook/w2v-bert-2.0.
IBM Research et HuggingFace publient PatchTSMixer dans la bibliothèque Transformers.
Hugging Face publie un tutoriel pas à pas pour convertir un workflow ComfyUI en application Gradio et la déployer gratuitement sur Hugging Face Spaces via ZeroGPU. Le processus passe par l'extension ComfyUI-to-Python-Extension pour exporter le workflow en script Python, puis par la création d'une interface Gradio exposant prompt, image de structure, image de style et forces associées. Les modèles sont téléchargés depuis le Hub via hf_hub_download et préchargés hors de la fonction décorée par @spaces.GPU pour tirer parti du serverless. L'auteur indique qu'une automatisation complète du processus est prévue début 2025.
Motif de la recommandation :Un guide pas à pas pour transformer un workflow ComfyUI en application Gradio et l'héberger gratuitement sur ZeroGPU.
Vectara a mis en ligne le HHEM Leaderboard, un classement open source dédié à la mesure de la fréquence d'hallucination des LLM.
Unsloth, une bibliothèque légère développée par la communauté, accélère le fine-tuning des LLM jusqu'à 2x et réduit l'usage de mémoire jusqu'à 74% sans dégradation de précision.
Motif de la recommandation :L'article détaille les gains de vitesse et de mémoire d'Unsloth pour le fine-tuning, avec des benchmarks reproductibles et un exemple d'intégration à TRL.
Hugging Face publie un guide communautaire sur les pratiques SOTA de fine-tuning Dreambooth LoRA pour SDXL.
Motif de la recommandation :Le guide détaille les techniques SOTA de fine-tuning LoRA pour SDXL et fournit un script diffusers directement réutilisable.
Le blog Hugging Face montre comment le décodage spéculatif, implémenté comme stratégie « assisted generation » dans Transformers.
Motif de la recommandation :L'article détaille l'implémentation du décodage spéculatif dans Transformers avec des benchmarks reproductibles, permettant de réduire de moitié le temps d'inférence de Whisper sans perte de précision.
Hugging Face publie une explication des Mixture of Experts (MoE), architecture mise en avant par la sortie de Mixtral 8x7B. L'article décrit les deux composants d'une couche MoE.
Motif de la recommandation :L'article détaille les briques, l'entraînement et les compromis de service des MoE, utile pour comprendre l'architecture derrière Mixtral 8x7B.
Hugging Face compare RoBERTa-large (355M paramètres), Llama-2-7b et Mistral-7B-v0.1 sur la classification de tweets de catastrophes.
Hugging Face permet désormais de déployer Llama 2 pour la génération de texte sur AWS Inferentia2 via optimum-neuron.
Hugging Face présente HugCoder, un LLM de code fine-tuné sur les dépôts publics de l'organisation Hugging Face.
Motif de la recommandation :L'article détaille le workflow complet de collecte de données, de fine-tuning QLoRA et de déploiement local d'un copilote de code, avec des scripts et des configurations réutilisables.
Renumics Spotlight permet de visualiser interactivement les datasets Hugging Face avec une seule ligne de code.
Le blog Hugging Face présente des techniques d'optimisation de Stable Diffusion XL pour réduire la consommation mémoire et accélérer l'inférence.
Hugging Face détaille le déploiement de modèles d'embedding open source sur Inference Endpoints via Text Embeddings Inference (TEI).