Aller au contenu
9 aoûtmer.
8 aoûtmar.
  1. Hugging Face Blog62

    Hugging Face publie swift-transformers pour exécuter des LLM sur les appareils Apple

    Hugging Face publie swift-transformers, un package Swift en développement qui implémente une API de type transformers pour la génération de texte.

    Motif de la recommandation :Présente les outils et le guide de conversion Core ML pour exécuter Llama 2 sur Mac, avec les limites de performances et les optimisations prévues.

  2. Hugging Face Blog62

    Fine-tuner Llama 2 avec DPO dans la bibliothèque TRL

    Hugging Face présente l'implémentation de la méthode Direct Preference Optimization (DPO) dans la bibliothèque TRL et montre comment fine-tuner le modèle Llama 2 7B sur le jeu de données de préférences Stack Exchange. DPO remplace l'étape de modélisation de récompense et l'optimisation RL de RLHF par un objectif de vraisemblance directe optimisé via une simple perte d'entropie croisée binaire, en s'appuyant sur une correspondance analytique entre la fonction de récompense et la politique RL optimale. Le tutoriel détaille le pipeline complet : SFT avec QLoRA sur Llama 2 7B, préparation des données de préférence au format prompt/chosen/rejected, puis entraînement avec DPOTrainer en configurant le paramètre beta (0,1 à 0,5). Le code source des scripts d'entraînement est disponible dans le répertoire examples/stack_llama_2 et le modèle entraîné est publié sur le Hub Hugging Face.

    Motif de la recommandation :Le tutoriel détaille l'implémentation de DPO dans TRL et le fine-tuning de Llama 2, avec le code et les métriques de suivi.

4 aoûtven.
2 aoûtmer.
  1. Hugging Face Blog22

    Huggy Lingo : Hugging Face utilise le machine learning pour améliorer les métadonnées linguistiques du Hub

    Hugging Face déploie Huggy Lingo, un système qui détecte automatiquement la langue des datasets du Hub dépourvus de métadonnées linguistiques et ouvre des pull requests via librarian-bots pour les ajouter. Le modèle fastText de Meta (facebook/fasttext-language-identification), issu des travaux No Language Left Behind, identifie 217 langues à partir de 20 lignes de texte récupérées via l'API dataset viewer. Environ 87 % des quelque 50 000 datasets publics ne précisent pas leur langue, contre 13 % qui le font, l'anglais représentant à lui seul près de 19 % des tags déclarés.

1 aoûtmar.
27 juilletjeu.
  1. Hugging Face Blog62

    Stable Diffusion XL sur Mac avec quantification Core ML avancée

    Hugging Face et Apple publient des modèles Core ML de Stable Diffusion XL, dont une version avec quantification mixed-bit réduisant l'UNet de 4.

    Motif de la recommandation :Présente la quantification mixed-bit et des recettes prêtes à l'emploi pour exécuter Stable Diffusion XL sur Mac, avec des chiffres de taille et de latence.

24 juilletlun.
  1. Hugging Face Blog58

    Hugging Face publie Agents.js, une bibliothèque JavaScript pour connecter des outils aux LLM

    Hugging Face a publié Agents.js, une bibliothèque JavaScript permettant de donner accès à des outils aux LLM dans le navigateur ou sur le serveur. Elle s'installe via npm install @huggingface/agents et expose l'objet HfAgent, qui accepte une commande en langage naturel puis génère du code appelant des outils multimodaux. La bibliothèque utilise par défaut OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 via l'Inference API, mais accepte tout LLM personnalisé ainsi que des outils ajoutés par l'utilisateur, comme un outil de traduction anglais-allemand basé sur t5-base. Elle peut aussi recevoir des fichiers en entrée, par exemple une image à légender puis à lire à voix haute. Les auteurs recommandent d'utiliser generateCode et evaluateCode plutôt que run, car l'exécution directe évalue du code arbitraire dans un environnement non fiable.

21 juilletven.
20 juilletjeu.
18 juilletmar.
  1. Hugging Face Blog88

    Llama 2 est disponible sur Hugging Face

    Meta publie Llama 2, une famille de grands modèles de langage open access de 7B à 70B paramètres.

    Motif de la recommandation :Présente l'intégration complète de Llama 2 dans Hugging Face, avec les modèles, l'inférence et le fine-tuning, utile pour évaluer les options de déploiement.

17 juilletlun.
14 juilletven.
5 juilletmer.
4 juilletmar.
3 juilletlun.
  1. Hugging Face Blog22

    Créer un générateur d'applications web avec des modèles ML ouverts

    Hugging Face détaille un tutoriel pour construire un générateur d'applications web combinant Node.js et le modèle WizardCoder-15B servi via l'API Inference Endpoints. Le serveur Express diffuse en streaming le HTML généré token par token directement au navigateur, avec un prompt guidant le modèle vers TailwindCSS et une logique JS encapsulée. Une alternative gratuite via l'Inference API est proposée pour les modèles plus petits, tandis que les modèles performants nécessitent 32 Go de mémoire ou plus et une accélération matérielle pour une latence correcte.

29 juinjeu.
26 juinlun.
23 juinven.
22 juinjeu.
19 juinlun.
16 juinven.
  1. Hugging Face Blog22

    Oui, les Transformers sont efficaces pour la prévision de séries temporelles (+ Autoformer)

    Le modèle Autoformer, publié à NeurIPS 2021, est désormais disponible dans 🤗 Transformers. Sur les trois jeux de données du papier AAAI 2023 « Are Transformers Effective for Time Series Forecasting? », Autoformer obtient un MASE de 0.910 sur Traffic, 1.087 sur Exchange-Rate et 0.751 sur Electricity, contre respectivement 0.965, 1.690 et 0.831 pour le modèle linéaire DLinear, qui utilise pourtant la couche de décomposition d'Autoformer. Autoformer introduit une couche de décomposition et un mécanisme d'auto-corrélation remplaçant l'auto-attention classique.

15 juinjeu.
  1. Hugging Face Blog62

    Comment accélérer Stable Diffusion sur iPhone, iPad et Mac avec Core ML

    Hugging Face présente les optimisations Core ML de WWDC'23 pour exécuter Stable Diffusion plus rapidement et avec moins de mémoire sur iPhone.

    Motif de la recommandation :L'article détaille la quantification 6 bits de Core ML et fournit les commandes de conversion, permettant de reproduire le déploiement de Stable Diffusion sur appareil.

13 juinmar.
12 juinlun.
  1. Hugging Face Blog62

    Les modèles de fondation peuvent-ils annoter des données comme des humains ?

    Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts.

    Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.

7 juinmer.
5 juinlun.
1 juinjeu.
31 maimer.
  1. Hugging Face Blog18

    Hugging Face Hub intègre BERTopic pour la modélisation de topics

    Hugging Face Hub intègre désormais BERTopic, un outil de modélisation de topics qui rejoint la catégorie « topic models » aux côtés de LDA sur la plateforme. Cette intégration s'inscrit dans un écosystème couvrant plus de 50 catégories de tâches NLP, de la génération de texte à la reconnaissance d'entités nommées, en passant par la traduction automatique et l'analyse de sentiments. Les modèles BERTopic peuvent être publiés et partagés directement via le Hub.

25 maijeu.
24 maimer.
23 maimar.