Hugging Face Accelerate : passer de DeepSpeed à FSDP et inversement
Hugging Face Accelerate expose désormais DeepSpeed et PyTorch FSDP de manière harmonisée。
#Données/entraînement
Hugging Face BlogAI Score3838
Mistral AIsélectionAI Score6262 Mistral AI lance la personnalisation de modèles sur la Plateforme
Mistral AI annonce la personnalisation de modèles sur la Plateforme, avec trois points d'entrée 。
Motif de la recommandation :Mistral ouvre trois voies de personnalisation, du SDK open source au fine-tuning serverless, ce qui permet de situer le coût et l'effort requis selon son infrastructure.
Hugging Face BlogAI Score4040 Entraîner et fine-tuner des modèles d'embedding avec Sentence Transformers
Sentence Transformers, la bibliothèque Python de Hugging Face, permet de fine-tuner des modèles d'embedding pour des tâches comme le RAG。
Hugging Face BlogAI Score4242 Le Open Medical-LLM Leaderboard : évaluer les grands modèles de langage dans le domaine de la santé
Hugging Face lance le Open Medical-LLM Leaderboard。
Hugging Face BlogAI Score2222 Utiliser l'API Hugging Face Dataset Viewer et Motherduck DuckDB-NSQL-7B pour le Text2SQL
MotherDuck et Numbers Station ont publié DuckDB-NSQL-7B, un LLM spécialisé dans le DuckDB SQL。
Hugging Face BlogsélectionAI Score6262 Cosmopedia : comment créer des données synthétiques à grande échelle pour le pré-entraînement des LLM
Hugging Face présente Cosmopedia, un jeu de données synthétiques de plus de 30 millions de fichiers et 25 milliards de tokens généré par Mixtral-8x7B-Instruct-v0.1。
Motif de la recommandation :L'article détaille la construction d'un jeu de données synthétiques de 25 milliards de tokens, avec la méthode de génération des prompts et la pile technique, utile pour ceux qui veulent reproduire ce type de données.
Hugging Face BlogsélectionAI Score6262 GaLore : entraîner de grands modèles sur du matériel grand public
Le blog Hugging Face présente GaLore, une méthode qui projette les gradients dans un sous-espace de bas rang pour réduire la mémoire des états d'optimiseur de plus de 82。
Motif de la recommandation :L'article détaille la réduction de plus de 82,5 % de la mémoire des états d'optimiseur et fournit un exemple exécutable avec transformers, utile pour l'entraînement sur GPU grand public.
Hugging Face BlogAI Score5252 Hugging Face lance Train on DGX Cloud, permettant d'affiner des modèles avec des GPU H100 de NVIDIA
Hugging Face lance Train on DGX Cloud, un service du Hub réservé aux organisations Enterprise Hub。
Hugging Face BlogAI Score5555 Hugging Face publie le dataset WebSight et le modèle Sightseer pour convertir les captures d'écran web en code HTML
Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.
Hugging Face BlogAI Score3636 Argilla et Hugging Face lancent « Data is Better Together » pour construire collectivement de meilleurs datasets
Argilla et Hugging Face lancent « Data is Better Together », une expérience de construction collective d'un dataset de préférences par classement de prompts。
Hugging Face BlogAI Score4040 AI Watermarking 101 : outils et techniques de tatouage des contenus IA
Hugging Face détaille dans un article les méthodes de watermarking des contenus générés par IA。
Hugging Face BlogAI Score5050 Introduction aux modèles d'embedding Matryoshka
Hugging Face présente les modèles d'embedding Matryoshka, qui produisent des embeddings utiles à plusieurs dimensions (par exemple 768。
Hugging Face BlogAI Score5858 PEFT accueille de nouvelles méthodes de fusion de LoRA
Hugging Face a ajouté à PEFT de nouvelles méthodes de fusion d'adaptateurs LoRA。
Hugging Face BlogsélectionAI Score7373 Hugging Face : générer des données synthétiques avec un LLM open source pour entraîner un modèle spécialisé
Hugging Face détaille une méthode pour créer des données synthétiques avec le LLM open source Mixtral-8x7B-Instruct-v0.1 afin d'entraîner un petit modèle spécialisé。
Motif de la recommandation :Un cas concret de distillation par données synthétiques avec coûts, latence et émissions comparés à GPT-4, et des notebooks réutilisables.
Hugging Face BlogAI Score2222 NPHardEval Leaderboard : évaluer le raisonnement des LLM via les classes de complexité
Hugging Face met en ligne le NPHardEval Leaderboard。
Hugging Face BlogsélectionAI Score6565 Constitutional AI avec des LLM ouverts : recette complète de Hugging Face
Hugging Face publie une recette de bout en bout pour appliquer le Constitutional AI (CAI) aux modèles ouverts。
Motif de la recommandation :L'article fournit une recette complète d'alignement Constitutional AI avec des modèles ouverts, incluant datasets, modèles et outil de génération à grande échelle.
Hugging Face BlogAI Score2222 PatchTST dans Hugging Face : guide de prévision de séries temporelles
Hugging Face publie un guide pratique d'utilisation de PatchTST。
Hugging Face BlogAI Score3535 Hugging Face et Patronus lancent le classement Enterprise Scenarios Leaderboard pour les cas d'usage réels en entreprise
L'équipe Patronus a annoncé l'Enterprise Scenarios Leaderboard, construit avec le Hugging Face Leaderboard Template。
Hugging Face BlogAI Score3030 Fine-tuner W2V2-BERT pour l'ASR à faibles ressources avec 🤗 Transformers
Hugging Face détaille le fine-tuning de Wav2Vec2-BERT (checkpoint facebook/w2v-bert-2.0。
Hugging Face BlogAI Score3636 PatchTSMixer débarque dans HuggingFace Transformers
IBM Research et HuggingFace publient PatchTSMixer dans la bibliothèque Transformers。
Hugging Face BlogAI Score3434 Préférence Tuning des LLM avec les méthodes d'optimisation des préférences directes
Une évaluation empirique compare DPO, IPO et KTO pour l'alignement des LLM sans apprentissage par renforcement。
Hugging Face BlogsélectionAI Score6262 Hugging Face publie un guide avancé de fine-tuning LoRA pour SDXL
Hugging Face publie un guide communautaire sur les pratiques SOTA de fine-tuning Dreambooth LoRA pour SDXL。
Motif de la recommandation :Le guide détaille les techniques SOTA de fine-tuning LoRA pour SDXL et fournit un script diffusers directement réutilisable.
Hugging Face BlogAI Score2222 2023, l'année des LLM open source
Hugging Face dresse une rétrospective de 2023 comme année des LLM open source。
Hugging Face BlogAI Score4040 SetFitABSA : analyse de sentiment par aspect en few-shot avec SetFit
Intel Labs et Hugging Face présentent SetFitABSA, un framework de few-shot training pour l'analyse de sentiment par aspect (ABSA) qui。
Hugging Face BlogAI Score5252 Open LLM Leaderboard retire le benchmark DROP après avoir identifié des erreurs de notation
Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.
Hugging Face BlogAI Score3030 Prodigy-HF : intégration directe avec Hugging Face
Explosion lance Prodigy-HF, un plugin qui intègre directement l'outil d'annotation Prodigy au stack Hugging Face. Il permet de fine-tuner tout modèle Transformer du Hub。
Hugging Face BlogAI Score3838 Explorer interactivement son dataset Hugging Face avec une ligne de code
Renumics Spotlight permet de visualiser interactivement les datasets Hugging Face avec une seule ligne de code。
Hugging Face BlogsélectionAI Score6262 Hugging Face ajoute l'attribut chat_template aux tokenizers
Hugging Face annonce que ses tokenizers disposent désormais d'un attribut chat_template。
Motif de la recommandation :L'article explique comment les chat templates stockent le format d'entraînement dans le tokenizer et évitent une dégradation silencieuse des performances.
Hugging Face BlogAI Score2222 Hugging Face publie un classement des modèles de détection d'objets
Hugging Face a mis en ligne un Object Detection Leaderboard qui classe les modèles de détection d'objets disponibles sur le Hub selon plusieurs métriques. Le classement s'appuie sur l'IoU。
Hugging Face BlogsélectionAI Score6262 Comment fine-tuner Llama 2 70B avec PyTorch FSDP
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB。
Motif de la recommandation :Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Hugging Face BlogAI Score2222 Huggy Lingo : Hugging Face utilise le machine learning pour améliorer les métadonnées linguistiques du Hub
Hugging Face déploie Huggy Lingo, un système qui détecte automatiquement la langue des datasets du Hub dépourvus de métadonnées linguistiques et ouvre des pull requests via librarian-bots pour les ajouter. Le modèle fastText de Meta (facebook/fasttext-language-identification), issu des travaux No Language Left Behind, identifie 217 langues à partir de 20 lignes de texte récupérées via l'API dataset viewer. Environ 87 % des quelque 50 000 datasets publics ne précisent pas leur langue, contre 13 % qui le font, l'anglais représentant à lui seul près de 19 % des tags déclarés.
Hugging Face BlogsélectionAI Score6262 Segmind ouvre le code et les poids de distillation de SD-Small et SD-Tiny
Segmind a mis en open source le code d'entraînement et les poids de ses modèles SD-Small et SD-Tiny。
Motif de la recommandation :L'article détaille la méthode de distillation par suppression de blocs et publie le code et les poids, ce qui permet de reproduire et d'adapter ces modèles compressés.
Hugging Face BlogAI Score3838 Fine-tuning de modèles Stable Diffusion sur CPU Intel
Hugging Face détaille le fine-tuning d'un modèle Stable Diffusion sur un cluster de quatre serveurs Intel Sapphire Rapids。
Hugging Face BlogAI Score2222 Accélérer les modèles vision-langage : BridgeTower sur Habana Gaudi2
Optimum Habana v1.7 sur Habana Gaudi2 atteint des accélérations de x2,5 par rapport à l'A100 et x1。
Hugging Face BlogAI Score5050 Hugging Face : fine-tuner les modèles Adapter de MMS pour l'ASR à faibles ressources
Le blog Hugging Face explique comment le fine-tuning des couches Adapter de MMS atteint un taux d'erreur de mots très faible après seulement 10 à 20 minutes d'entraînement。
Hugging Face BlogAI Score2020 Hugging Face Hub pour les galeries, bibliothèques, archives et musées
Le Hugging Face Hub héberge plus de 190 000 modèles de machine learning, 33 000 datasets et plus de 100 000 applications et démos。
Hugging Face BlogsélectionAI Score6262 Les modèles de fondation peuvent-ils annoter des données comme des humains ?
Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts。
Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.
Hugging Face BlogAI Score4040 Hugging Face Hub : analyser plus de 50 000 datasets avec DuckDB
Hugging Face a intégré DuckDB au Hub pour exécuter des requêtes SQL sur n'importe quel dataset public。
Hugging Face BlogAI Score4242 Instruction-tuning de Stable Diffusion avec InstructPix2Pix
Hugging Face explore le fine-tuning par instructions de Stable Diffusion en s'appuyant sur la méthode InstructPix2Pix pour suivre des instructions d'édition précises comme la cartoonisation ou le débruitage d'image. Le pipeline génère 50 phrases synonymes via ChatGPT pour l'instruction « Cartoonize the image », puis utilise 5000 échantillons d'Imagenette traités par un modèle Whitebox CartoonGAN pré-entraîné comme labels. Le code, les modèles pré-entraînés et les datasets sont publiés en open source.
Hugging Face BlogAI Score3232 BigCode : la near-deduplication à grande échelle derrière les jeux de données de code
Hugging Face détaille la near-deduplication à grande échelle mise en œuvre pour BigCode。