Aller au contenu
11 décembrelun.
  1. Hugging Face Blog85

    Hugging Face intègre Mixtral 8x7B, un modèle MoE open source SOTA

    Mistral a publié Mixtral 8x7B, un modèle à mélange d'experts (MoE) qui établit un nouveau niveau SOTA pour les modèles open access et surpasse GPT-3.5 sur de nombreux benchmarks. Hugging Face annonce son intégration complète dans son écosystème : modèles sur le Hub sous licence Apache 2.0, support dans Transformers, Inference Endpoints, Text Generation Inference, et un exemple de fine-tuning sur un seul GPU avec TRL. Le modèle supporte une fenêtre de contexte de 32k tokens, parle anglais, français, allemand, espagnol et italien, et obtient 40,2 % sur HumanEval. Mixtral Instruct dépasse tous les autres modèles open access sur MT-Bench avec un score de 8,30, comparable à GPT-3.5.

    Motif de la recommandation :L'article détaille l'intégration complète de Mixtral 8x7B dans l'écosystème Hugging Face, des points de déploiement à la quantification, utile pour évaluer les options d'inférence et de fine-tuning.

  2. Hugging Face Blog60

    Mixture of Experts expliqué : briques, entraînement et compromis de service

    Hugging Face publie une explication des Mixture of Experts (MoE), architecture mise en avant par la sortie de Mixtral 8x7B. L'article décrit les deux composants d'une couche MoE.

    Motif de la recommandation :L'article détaille les briques, l'entraînement et les compromis de service des MoE, utile pour comprendre l'architecture derrière Mixtral 8x7B.

5 décembremar.
  1. Hugging Face Blog62

    Hugging Face : comment accélérer l'inférence LoRA de 300 % en gardant le modèle de base chaud

    Hugging Face a réduit le temps de démarrage à froid de l'inférence LoRA de 25 s à 3 s et le temps de réponse de 35 s à 13 s en gardant le modèle de base Stable Diffusion XL chargé et en échangeant les adaptateurs LoRA à la demande. Le Hub héberge environ 2500 LoRA publics, dont environ 92 % reposent sur Stable Diffusion XL Base 1.0, et cette mutualisation permet de servir des centaines de LoRA distincts avec moins de 5 GPU A10G. L'article détaille l'implémentation dans Diffusers avec load_lora_weights, fuse_lora, unload_lora_weights et unfuse_lora, ainsi que les temps de chargement et d'inférence mesurés sur T4 et A10G.

    Motif de la recommandation :L'article détaille le mécanisme de mutualisation des adaptateurs LoRA et les gains mesurés, utile pour ceux qui déploient plusieurs modèles fine-tunés.

27 octobreven.
  1. Hugging Face Blog62

    Personal Copilot : entraîner son propre assistant de codage avec StarCoder

    Hugging Face présente HugCoder, un LLM de code fine-tuné sur les dépôts publics de l'organisation Hugging Face.

    Motif de la recommandation :L'article détaille le workflow complet de collecte de données, de fine-tuning QLoRA et de déploiement local d'un copilote de code, avec des scripts et des configurations réutilisables.

19 octobrejeu.
  1. Hugging Face Blog60

    Gradio-Lite : exécuter Gradio entièrement dans le navigateur sans serveur

    Hugging Face publie @gradio/lite, une bibliothèque JavaScript qui s'appuie sur Pyodide pour exécuter des applications Gradio directement dans le navigateur.

    Motif de la recommandation :Présente le fonctionnement sans serveur de Gradio dans le navigateur et ses limites de chargement, utile pour évaluer les options de déploiement.

4 octobremer.
3 octobremar.
27 septembremer.
8 septembreven.
  1. Hugging Face Blog62

    Génération contrôlable efficace pour SDXL avec T2I-Adapters

    L'équipe Diffusers et les auteurs de T2I-Adapter ont collaboré pour intégrer le support des T2I-Adapters pour Stable Diffusion XL (SDXL) dans diffusers. T2I-Adapter-SDXL ne pèse que 79 M de paramètres (158 Mo en fp16), soit une réduction de 93,69 % par rapport à ControlNet-SDXL (1251 M, 2,5 Go), et n'est exécuté qu'une seule fois pendant tout le processus de débruitage. Les points de contrôle entraînés sur 3M d'images LAION-Aesthetics V2 sont disponibles pour les conditions sketch, canny, lineart, depth et openpose, avec un script d'entraînement et un exemple d'utilisation via StableDiffusionXLAdapterPipeline.

    Motif de la recommandation :L'article détaille l'entraînement et l'usage des T2I-Adapters pour SDXL, avec des scripts et des points de contrôle ouverts, permettant de reproduire et de contrôler la génération d'images.

6 septembremer.
  1. Hugging Face Blog83

    Hugging Face accueille Falcon 180B, le plus grand modèle ouvert avec 180 milliards de paramètres

    Le Falcon 180B de TII rejoint Hugging Face Hub, avec 180 milliards de paramètres entraînés sur 3.

    Motif de la recommandation :Falcon 180B est le plus grand modèle ouvert à sa sortie, avec 180B paramètres et 3,5T tokens d'entraînement, ce qui permet de situer les capacités des modèles ouverts face aux modèles propriétaires.

23 aoûtmer.
22 aoûtmar.
8 aoûtmar.
  1. Hugging Face Blog62

    Hugging Face publie swift-transformers pour exécuter des LLM sur les appareils Apple

    Hugging Face publie swift-transformers, un package Swift en développement qui implémente une API de type transformers pour la génération de texte.

    Motif de la recommandation :Présente les outils et le guide de conversion Core ML pour exécuter Llama 2 sur Mac, avec les limites de performances et les optimisations prévues.

2 aoûtmer.
  1. Hugging Face Blog22

    Huggy Lingo : Hugging Face utilise le machine learning pour améliorer les métadonnées linguistiques du Hub

    Hugging Face déploie Huggy Lingo, un système qui détecte automatiquement la langue des datasets du Hub dépourvus de métadonnées linguistiques et ouvre des pull requests via librarian-bots pour les ajouter. Le modèle fastText de Meta (facebook/fasttext-language-identification), issu des travaux No Language Left Behind, identifie 217 langues à partir de 20 lignes de texte récupérées via l'API dataset viewer. Environ 87 % des quelque 50 000 datasets publics ne précisent pas leur langue, contre 13 % qui le font, l'anglais représentant à lui seul près de 19 % des tags déclarés.

27 juilletjeu.
  1. Hugging Face Blog62

    Stable Diffusion XL sur Mac avec quantification Core ML avancée

    Hugging Face et Apple publient des modèles Core ML de Stable Diffusion XL, dont une version avec quantification mixed-bit réduisant l'UNet de 4.

    Motif de la recommandation :Présente la quantification mixed-bit et des recettes prêtes à l'emploi pour exécuter Stable Diffusion XL sur Mac, avec des chiffres de taille et de latence.

24 juilletlun.
  1. Hugging Face Blog58

    Hugging Face publie Agents.js, une bibliothèque JavaScript pour connecter des outils aux LLM

    Hugging Face a publié Agents.js, une bibliothèque JavaScript permettant de donner accès à des outils aux LLM dans le navigateur ou sur le serveur. Elle s'installe via npm install @huggingface/agents et expose l'objet HfAgent, qui accepte une commande en langage naturel puis génère du code appelant des outils multimodaux. La bibliothèque utilise par défaut OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 via l'Inference API, mais accepte tout LLM personnalisé ainsi que des outils ajoutés par l'utilisateur, comme un outil de traduction anglais-allemand basé sur t5-base. Elle peut aussi recevoir des fichiers en entrée, par exemple une image à légender puis à lire à voix haute. Les auteurs recommandent d'utiliser generateCode et evaluateCode plutôt que run, car l'exécution directe évalue du code arbitraire dans un environnement non fiable.

21 juilletven.
20 juilletjeu.
18 juilletmar.
  1. Hugging Face Blog88

    Llama 2 est disponible sur Hugging Face

    Meta publie Llama 2, une famille de grands modèles de langage open access de 7B à 70B paramètres.

    Motif de la recommandation :Présente l'intégration complète de Llama 2 dans Hugging Face, avec les modèles, l'inférence et le fine-tuning, utile pour évaluer les options de déploiement.

17 juilletlun.
22 juinjeu.
15 juinjeu.
12 juinlun.
5 juinlun.
1 juinjeu.
31 maimer.
  1. Hugging Face Blog18

    Hugging Face Hub intègre BERTopic pour la modélisation de topics

    Hugging Face Hub intègre désormais BERTopic, un outil de modélisation de topics qui rejoint la catégorie « topic models » aux côtés de LDA sur la plateforme. Cette intégration s'inscrit dans un écosystème couvrant plus de 50 catégories de tâches NLP, de la génération de texte à la reconnaissance d'entités nommées, en passant par la traduction automatique et l'analyse de sentiments. Les modèles BERTopic peuvent être publiés et partagés directement via le Hub.

24 maimer.
23 maimar.
  1. Hugging Face Blog67

    Hugging Face, EleutherAI et Stability AI font de safetensors le format par défaut après un audit de sécurité externe

    Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors.

    Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.

16 maimar.
15 mailun.
  1. Hugging Face Blog62

    Hugging Face intègre RWKV, une architecture RNN aux avantages des transformers

    Hugging Face annonce l'intégration de l'architecture RWKV dans sa bibliothèque transformers.

    Motif de la recommandation :L'article détaille l'intégration de l'architecture RWKV dans transformers et fournit des exemples de code exécutables, ce qui permet de reproduire directement le flux de génération de texte.

26 avrilmer.
24 avrillun.
30 marsjeu.
23 marsjeu.
18 marssam.
6 marslun.
  1. Hugging Face Blog65

    Kakao Brain publie les modèles ViT et ALIGN et le jeu de données COYO

    Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.

    Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.

3 marsven.