Entreprises et modèles
Hugging Face : l'actualité de la communauté open source — modèles et jeux de données populaires, évolutions du classement et baromètre de l'écosystème open source.
188 sélections30 derniers jours 8 entréesTotal : 541 entrées
Hugging Face annonce la bibliothèque PEFT, qui regroupe des techniques de fine-tuning économe en paramètres intégrées à Transformers et Accelerate. Elle prend en charge LoRA.
Motif de la recommandation :La bibliothèque PEFT de Hugging Face permet de fine-tuner des LLM avec une fraction des paramètres, ce qui réduit fortement les coûts de calcul et de stockage.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
Hugging Face annonce que sa bibliothèque Optimum intègre ONNX Runtime Training.
Motif de la recommandation :L'original détaille l'intégration d'ONNX Runtime dans Optimum et les gains d'entraînement mesurés, ce qui aide à évaluer l'impact sur les coûts de fine-tuning.
Grâce aux ingénieurs d'Apple, il est désormais possible d'exécuter Stable Diffusion sur Apple Silicon via Core ML. Le dépôt Apple fournit des scripts de conversion et du code d'inférence basés sur Diffusers, et les poids convertis des modèles Stable Diffusion v1.4, v1.5, v2 base et v2.1 base sont disponibles sur le Hugging Face Hub. Core ML prend en charge le CPU, le GPU et le Neural Engine, avec des variantes d'attention original et split_einsum ainsi que des formats packages pour Python et compilés pour Swift. Sur un MacBook Pro M1 Max avec macOS Ventura 13.1 Beta 4, la génération d'une image avec Stable Diffusion v1.4 a pris 18 secondes.
Motif de la recommandation :Le guide détaille les variantes de modèles Core ML et les commandes Python et Swift pour exécuter Stable Diffusion localement sur Apple Silicon.
Hugging Face détaille comment entraîner Stable Diffusion avec la technique Dreambooth via le script de Diffusers.
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.
Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.
Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.
Hugging Face Diffusers prend en charge Flax depuis la version 0.5.1.
Motif de la recommandation :Présente la prise en charge de Flax dans Diffusers et détaille le déploiement parallèle de Stable Diffusion sur TPU, une méthode directement réutilisable.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch.
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Hugging Face présente trois scripts d'inférence pour le modèle BLOOM de 176 milliards de paramètres.
Motif de la recommandation :L'article compare trois solutions d'inférence pour BLOOM 176B avec des chiffres de débit et de chargement, utile pour choisir un schéma de déploiement.
Hugging Face a publié la version 0.3 de la bibliothèque diffusers, qui ajoute des pipelines image-to-image.
Motif de la recommandation :L'original détaille les nouvelles fonctionnalités de diffusers 0.3 et les optimisations de VRAM, ce qui permet de juger des flux de génération d'images à mettre en place.
Hugging Face présente comment utiliser Stable Diffusion, un modèle de diffusion latent texte-image créé par CompVis.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
Hugging Face intègre LLM.int8() dans transformers et accelerate.
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face annonce Evaluation on the Hub, un outil propulsé par AutoTrain qui permet d'évaluer n'importe quel modèle sur n'importe quel jeu de données du Hub sans écrire une ligne de code. Les résultats sont encodés dans les métadonnées des fiches de modèles et une pull request est ouverte automatiquement, avec des classements par jeu de données et par métrique. L'équipe a déjà évalué des centaines de modèles sur plusieurs jeux de données clés et cite trois cas d'usage principaux : trouver le meilleur modèle pour une tâche, évaluer des modèles sur un nouveau jeu de données et tester un modèle sur de nombreux jeux de données liés.
Motif de la recommandation :Hugging Face ouvre l'évaluation de modèles sur le Hub sans code, avec résultats intégrés aux fiches de modèles et classements consultables.
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Hugging Face Hub met en ligne les pull requests et les discussions dans l'onglet Community.
Motif de la recommandation :L'original détaille le mécanisme des PR sans fork et la refonte de l'onglet Community, ce qui aide à juger l'impact sur les flux de collaboration existants.
Hugging Face annonce Gradio 3.0, une refonte complète de la bibliothèque de démos ML.
Motif de la recommandation :L'annonce détaille la refonte du frontend et la nouvelle API Blocks, ce qui permet de juger comment construire des démos plus flexibles en Python.
Hugging Face annonce une levée de 100 millions de dollars en série C menée par Lux Capital.
Motif de la recommandation :Hugging Face détaille les montants, les investisseurs et l'usage de la plateforme, ce qui éclaire le financement de l'écosystème open source.
Hugging Face explique comment utiliser les spécificités de l'architecture CTC pour obtenir une reconnaissance vocale de bonne qualité sur des fichiers arbitrairement longs ou en inférence en direct avec Wav2Vec2. Le pipeline Transformers plante par manque de mémoire sur un fichier d'une heure, mais l'ajout de chunk_length_s=10 permet de traiter le fichier. La technique du chunking avec stride, qui exploite la correspondance CTC entre trames audio et prédictions de lettres, découpe l'audio en segments chevauchants, supprime les logits des bords et enchaîne les résultats pour se rapprocher de l'inférence sur le fichier complet. Elle fonctionne aussi sans modification sur les modèles Wav2Vec2 augmentés d'un LM, et peut être adaptée à l'inférence en direct en alimentant le pipeline au fil de l'arrivée des données.
Motif de la recommandation :L'article détaille le chunking avec stride pour Wav2Vec2, une méthode directement réutilisable pour l'ASR sur fichiers longs et en direct.
Hugging Face annonce l'acquisition de Gradio, la bibliothèque open source de démonstration de modèles de machine learning. L'un des fondateurs de Gradio.
Motif de la recommandation :L'annonce de l'acquisition de Gradio par Hugging Face et le rappel des 300 000 démos construites permettent de situer l'évolution de l'outillage de démonstration ML.