Hugging Face détaille comment fine-tuner StarCoder, un modèle de 16B paramètres entraîné sur 80+ langages de programmation。
Motif de la recommandation :L'article détaille le fine-tuning de StarCoder avec ChatML et DeepSpeed ZeRO-3, une méthode transférable pour transformer un modèle de code en assistant conversationnel.
Hugging Face détaille l'entraînement from scratch d'un RoBERTa (modèle base) sur le jeu de données WikiText (v1) avec TensorFlow et TPU。
Databricks a publié sa première contribution officielle au code de Hugging Face。
Hugging Face et Substra ont publié une démo (Space) illustrant l'apprentissage fédéré。
Hugging Face et Flower permettent de fédérer le fine-tuning d'un Transformer pré-entraîné (distilBERT) sur un jeu de données IMDB pour la classification de sentiments。
Hugging Face détaille en trois étapes l'entraînement d'un ControlNet pour Stable Diffusion 。
Motif de la recommandation :Le guide détaille les trois étapes d'entraînement d'un ControlNet et fournit les paramètres pour tenir sur 8 Go de VRAM.
Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus。
Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.
Après les séismes de magnitude 7,7 et 7,6 survenus le 6 février 2023 dans le sud-est de la Turquie。
Motif de la recommandation :L'auteur détaille la chaîne complète OCR, NER et classification d'intentions déployée après le séisme en Turquie, une méthode réutilisable pour des applications d'urgence.
Hugging Face consacre le cinquième volet de sa série « AI for Game Development » à l'usage de ChatGPT pour écrire l'histoire d'un jeu de ferme. Le modèle reproduit d'abord des récits existants proches de Stardew Valley, puis s'améliore par allers-retours successifs, mais montre des limites : répétition sur les contenus longs, risques juridiques, éthiques et commerciaux en cas d'usage direct des sorties. L'auteur recommande de réserver ChatGPT au brainstorming et à la rédaction d'ébauches, la rédaction finale restant manuelle.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers。
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
Hugging Face a publié une analyse des techniques derrière ChatGPT — RLHF, IFT, CoT。
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme。
Hugging Face publie une introduction au machine learning sur graphes couvrant les fondamentaux 。
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids。
Hugging Face annonce la sortie d'un outil de création de Model Cards avec interface graphique。
Hugging Face publie un guide complet sur l'utilisation de la bibliothèque open source 🤗 Datasets pour télécharger et préparer des datasets audio en une seule ligne de code Python via la fonction load_dataset. Le Hub héberge 77 datasets de reconnaissance vocale et 28 datasets de classification audio, avec un aperçu permettant d'écouter les échantillons directement. Le mode streaming et le chargement de GigaSpeech (configurations de xs à xl, de 10 à 10 000 heures) illustrent la simplicité de l'API.
Hugging Face publie le deuxième numéro de sa newsletter Éthique et Société consacré aux biais en machine learning。
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur。
Hugging Face détaille comment les entreprises peuvent construire des solutions Document AI avec des modèles open source。
Hugging Face détaille comment entraîner Stable Diffusion avec la technique Dreambooth via le script de Diffusers。
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.
Hugging Face publie un guide pas à pas pour fine-tuner Whisper sur n'importe quel jeu de données ASR multilingue avec Transformers。
Motif de la recommandation :Un guide pas à pas pour fine-tuner Whisper sur une langue peu dotée, avec code exécutable et résultats WER mesurés.
Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.
Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.
Hugging Face permet désormais d'évaluer en zero-shot tout modèle causal du Hub sans écrire de code。
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR。
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers。
Ce guide Hugging Face, désormais obsolète, couvre l'API SentenceTransformer.fit des versions antérieures à la v3.0。
Hugging Face détaille la collecte dynamique de données adverses (DADC), une méthode où des humains créent des exemples pour tromper des modèles SOTA。
L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.
Hugging Face publie un guide pour débutants qui utilise Sentence Transformers (ST) comme exemple pour passer de zéro à un premier projet ML autonome. ST transforme des phrases en embeddings vectoriels et fournit la fonction util.cos_sim pour calculer la similarité cosinus (score de -1 à 1), avec le modèle msmarco-MiniLM-L-6-v3 chargé dans un Jupyter notebook. La bibliothèque compte près de 8 000 étoiles sur GitHub et plus de 3 000 projets et packages qui en dépendent, et sert à la recherche sémantique, au clustering, à la distillation de modèles ou à CLIP.
Hugging Face publie la troisième partie de sa série « Director of Machine Learning Insights »。
Microsoft présente TAPEX, une méthode de pré-entraînement de tables qui apprend un exécuteur SQL neuronal sur un corpus synthétique généré en échantillonnant des requêtes SQL exécutables et leurs résultats, sans recourir à des données réelles. Intégré à Transformers 4.19.0, TAPEX atteint de nouveaux résultats SOTA sur quatre benchmarks : 89,6 % sur WikiSQL (+2,3 %), 84,2 % sur TabFact (+3,2 %), 74,5 % sur SQA (+3,5 %) et 57,5 % sur WikiTableQuestions (+4,8 %).
Hugging Face publie la deuxième partie de sa série d'entretiens avec des directeurs Machine Learning。
Hugging Face montre comment entraîner de grands modèles via Accelerate en exploitant PyTorch FullyShardedDataParallel (FSDP)。
HuggingFace AutoTrain et Kili permettent de construire un pipeline d'active learning pour la classification de texte。
Hugging Face montre comment automatiser le filtrage des messages clients mécontents en modélisant le problème comme une classification de texte à 5 classes (very unsatisfied à very satisfied). Le dataset Amazon reviews multi est retenu pour ses labels de sentiment de 1 à 5 étoiles, jugé plus adapté que GLUE, Amazon polarity ou Tweet eval. L'approche vise à répondre à 100 % des messages des clients les plus insatisfaits, supposés minoritaires parmi l'ensemble des retours.
Hugging Face ajoute à sa bibliothèque huggingface_hub un paramètre emissions_threshold permettant de filtrer les modèles du Hub selon les émissions de CO2 générées lors de leur entraînement. L'intégration de codecarbon dans transformers enregistre automatiquement ces émissions via CodeCarbonCallback et les consigne dans un fichier emissions.csv, que l'utilisateur peut reporter dans la fiche du modèle. Une recherche avec un seuil maximal de 100 grammes renvoie 191 modèles, tandis qu'un seuil minimal de 500 grammes n'en retourne que 10.
Habana Labs et Hugging Face annoncent un partenariat intégrant la suite logicielle SynapseAI de Habana à la bibliothèque open source Optimum de Hugging Face。
Ce guide montre comment fine-tuner SegFormer, un modèle de segmentation sémantique SOTA introduit par Xie et al. en 2021。
Hugging Face montre comment construire une application de recherche d'images en combinant la bibliothèque datasets。
Hugging Face publie un guide de démarrage de l'analyse de sentiment en Python。