Aller au contenu
15 avrillun.
  1. Hugging Face Blog72

    Hugging Face publie Idefics2, un modèle multimodal ouvert de 8B paramètres

    Hugging Face publie Idefics2, un modèle multimodal généraliste de 8B paramètres sous licence Apache 2.0.

    Motif de la recommandation :Idefics2, avec 8B de paramètres et une licence Apache 2.0, atteint des performances comparables à des modèles de 30B et plus sur plusieurs benchmarks, ce qui permet de situer les capacités des modèles multimodaux ouverts de cette taille.

9 avrilmar.
25 marslun.
20 marsmer.
  1. Hugging Face Blog62

    Cosmopedia : comment créer des données synthétiques à grande échelle pour le pré-entraînement des LLM

    Hugging Face présente Cosmopedia, un jeu de données synthétiques de plus de 30 millions de fichiers et 25 milliards de tokens généré par Mixtral-8x7B-Instruct-v0.1.

    Motif de la recommandation :L'article détaille la construction d'un jeu de données synthétiques de 25 milliards de tokens, avec la méthode de génération des prompts et la pile technique, utile pour ceux qui veulent reproduire ce type de données.

21 févriermer.
16 févrierven.
  1. Hugging Face Blog73

    Hugging Face : générer des données synthétiques avec un LLM open source pour entraîner un modèle spécialisé

    Hugging Face détaille une méthode pour créer des données synthétiques avec le LLM open source Mixtral-8x7B-Instruct-v0.1 afin d'entraîner un petit modèle spécialisé.

    Motif de la recommandation :Un cas concret de distillation par données synthétiques avec coûts, latence et émissions comparés à GPT-4, et des notebooks réutilisables.

4 janvierjeu.
  1. Hugging Face Blog62

    Hugging Face publie aMUSEd, un modèle de génération d'images texte-image non-diffusion

    Hugging Face a publié aMUSEd, un modèle de génération d'images texte-image efficace non-diffusion.

    Motif de la recommandation :aMUSEd adopte une méthode non-diffusion MIM, avec un poids d'environ 800M et une inférence rapide, et fournit un code d'entraînement et de fine-tuning, ce qui permet de comprendre la voie de génération d'images sans diffusion.

11 décembrelun.
  1. Mistral AI88

    Mistral AI publie Mixtral 8x7B, un modèle MoE à poids ouverts

    Mistral AI publie Mixtral 8x7B, un modèle à mélange d'experts clairsemé (SMoE) à poids ouverts sous licence Apache 2.0. Il surpasse Llama 2 70B sur la plupart des benchmarks avec une inférence 6 fois plus rapide, égale ou dépasse GPT3.5 sur la plupart des benchmarks standards, gère un contexte de 32k tokens et maîtrise l'anglais, le français, l'italien, l'allemand et l'espagnol. Le modèle compte 46,7B paramètres au total mais n'en utilise que 12,9B par token, et Mixtral 8x7B Instruct atteint 8,30 sur MT-Bench. Mistral AI a soumis des modifications à vLLM intégrant les kernels CUDA Megablocks, et Skypilot permet le déploiement des endpoints vLLM sur n'importe quelle instance cloud.

    Motif de la recommandation :L'original expose l'architecture MoE, les performances comparées et la pile de déploiement open source, ce qui permet de juger le compromis coût/performance.

6 décembremer.
9 novembrejeu.
27 septembremer.
13 septembremer.
  1. Hugging Face Blog72

    Würstchen : un modèle de diffusion rapide pour la génération d'images

    Hugging Face présente Würstchen, un modèle de diffusion texte-image qui atteint une compression spatiale de 42x grâce à une architecture en trois étapes (VQGAN.

    Motif de la recommandation :Le modèle atteint une compression spatiale 42x et un coût d'entraînement réduit, avec une intégration Diffusers directement réutilisable.

11 septembrelun.
6 septembremer.
  1. Hugging Face Blog83

    Hugging Face accueille Falcon 180B, le plus grand modèle ouvert avec 180 milliards de paramètres

    Le Falcon 180B de TII rejoint Hugging Face Hub, avec 180 milliards de paramètres entraînés sur 3.

    Motif de la recommandation :Falcon 180B est le plus grand modèle ouvert à sa sortie, avec 180B paramètres et 3,5T tokens d'entraînement, ce qui permet de situer les capacités des modèles ouverts face aux modèles propriétaires.

25 aoûtven.
  1. Hugging Face Blog88

    Code Llama : Llama 2 apprend à coder

    Hugging Face annonce l'intégration de Code Llama, une famille de modèles ouverts dérivés de Llama 2 spécialisés sur le code.

    Motif de la recommandation :Présente les trois tailles de Code Llama, la fenêtre de contexte étendue et l'intégration complète dans l'écosystème Hugging Face.

8 aoûtmar.
  1. Hugging Face Blog62

    Fine-tuner Llama 2 avec DPO dans la bibliothèque TRL

    Hugging Face présente l'implémentation de la méthode Direct Preference Optimization (DPO) dans la bibliothèque TRL et montre comment fine-tuner le modèle Llama 2 7B sur le jeu de données de préférences Stack Exchange. DPO remplace l'étape de modélisation de récompense et l'optimisation RL de RLHF par un objectif de vraisemblance directe optimisé via une simple perte d'entropie croisée binaire, en s'appuyant sur une correspondance analytique entre la fonction de récompense et la politique RL optimale. Le tutoriel détaille le pipeline complet : SFT avec QLoRA sur Llama 2 7B, préparation des données de préférence au format prompt/chosen/rejected, puis entraînement avec DPOTrainer en configurant le paramètre beta (0,1 à 0,5). Le code source des scripts d'entraînement est disponible dans le répertoire examples/stack_llama_2 et le modèle entraîné est publié sur le Hub Hugging Face.

    Motif de la recommandation :Le tutoriel détaille l'implémentation de DPO dans TRL et le fine-tuning de Llama 2, avec le code et les métriques de suivi.

1 aoûtmar.
18 juilletmar.
  1. Hugging Face Blog88

    Llama 2 est disponible sur Hugging Face

    Meta publie Llama 2, une famille de grands modèles de langage open access de 7B à 70B paramètres.

    Motif de la recommandation :Présente l'intégration complète de Llama 2 dans Hugging Face, avec les modèles, l'inférence et le fine-tuning, utile pour évaluer les options de déploiement.

5 juilletmer.
5 juinlun.
24 maimer.
15 mailun.
4 maijeu.
12 avrilmer.
5 avrilmer.
28 marsmar.
9 marsjeu.
10 févrierven.
  1. Hugging Face Blog62

    Hugging Face lance la bibliothèque PEFT pour un fine-tuning économe en paramètres

    Hugging Face annonce la bibliothèque PEFT, qui regroupe des techniques de fine-tuning économe en paramètres intégrées à Transformers et Accelerate. Elle prend en charge LoRA.

    Motif de la recommandation :La bibliothèque PEFT de Hugging Face permet de fine-tuner des LLM avec une fraction des paramètres, ce qui réduit fortement les coûts de calcul et de stockage.

8 févriermer.
  1. Hugging Face Blog62

    SpeechT5 est désormais disponible dans Transformers

    Hugging Face annonce l'intégration du modèle SpeechT5 de Microsoft Research Asia dans la bibliothèque open source Transformers. Ce modèle unique gère la synthèse vocale.

    Motif de la recommandation :Le billet détaille l'intégration de SpeechT5 dans Transformers et fournit des exemples de code pour la synthèse vocale, la conversion de voix et la reconnaissance automatique de la parole.

7 févriermar.
26 janvierjeu.
10 décembresam.
12 octobremer.
8 octobresam.
5 octobremer.
26 septembrelun.
  1. Hugging Face Blog62

    SetFit : un apprentissage efficace en few-shot sans prompts

    Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.

    Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.

21 septembremer.
  1. OpenAI News85

    OpenAI présente Whisper, un modèle de reconnaissance vocale open source

    OpenAI annonce avoir entraîné et publié en open source un réseau de neurones nommé Whisper, dont la robustesse et la précision en reconnaissance de la parole en anglais s'approchent du niveau humain.

    Motif de la recommandation :Un modèle de reconnaissance vocale open source qui atteint une robustesse et une précision proches du niveau humain en anglais.

12 aoûtven.
22 juilletven.