Entreprises et modèles
Hugging Face : l'actualité de la communauté open source — modèles et jeux de données populaires, évolutions du classement et baromètre de l'écosystème open source.
188 sélections30 derniers jours 8 entréesTotal : 541 entrées
Segmind a mis en open source le code d'entraînement et les poids de ses modèles SD-Small et SD-Tiny.
Motif de la recommandation :L'article détaille la méthode de distillation par suppression de blocs et publie le code et les poids, ce qui permet de reproduire et d'adapter ces modèles compressés.
Hugging Face et Apple publient des modèles Core ML de Stable Diffusion XL, dont une version avec quantification mixed-bit réduisant l'UNet de 4.
Motif de la recommandation :Présente la quantification mixed-bit et des recettes prêtes à l'emploi pour exécuter Stable Diffusion XL sur Mac, avec des chiffres de taille et de latence.
Meta publie Llama 2, une famille de grands modèles de langage open access de 7B à 70B paramètres.
Motif de la recommandation :Présente l'intégration complète de Llama 2 dans Hugging Face, avec les modèles, l'inférence et le fine-tuning, utile pour évaluer les options de déploiement.
Le classement Open LLM, qui s'appuie sur la bibliothèque EleutherAI LM Evaluation Harness.
Motif de la recommandation :L'article détaille pourquoi un même benchmark MMLU donne des scores et classements différents selon l'implémentation, un point clé pour interpréter les classements de modèles.
Hugging Face présente les optimisations Core ML de WWDC'23 pour exécuter Stable Diffusion plus rapidement et avec moins de mémoire sur iPhone.
Motif de la recommandation :L'article détaille la quantification 6 bits de Core ML et fournit les commandes de conversion, permettant de reproduire le déploiement de Stable Diffusion sur appareil.
Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts.
Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.
Hugging Face détaille l'intégration des modèles Falcon de TII, publiés sous licence Apache 2.0.
Motif de la recommandation :L'article détaille l'intégration de Falcon dans l'écosystème Hugging Face, avec des exemples d'inférence, de quantification et de fine-tuning directement réutilisables.
Hugging Face annonce l'intégration de la quantification 4 bits via bitsandbytes dans transformers.
Motif de la recommandation :L'intégration de la quantification 4 bits et de QLoRA dans transformers permet d'entraîner des modèles 65B sur un seul GPU 48GB, avec les benchmarks T4 fournis.
Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors.
Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.
Hugging Face annonce l'intégration de l'architecture RWKV dans sa bibliothèque transformers.
Motif de la recommandation :L'article détaille l'intégration de l'architecture RWKV dans transformers et fournit des exemples de code exécutables, ce qui permet de reproduire directement le flux de génération de texte.
Hugging Face présente la génération assistée, une méthode de décodage qui utilise un petit modèle assistant pour proposer des tokens candidats.
Motif de la recommandation :L'article détaille le goulot d'étranglement mémoire de la génération autoregressive et propose une méthode de décodage assisté avec des gains de latence mesurés.
Hugging Face détaille comment fine-tuner StarCoder, un modèle de 16B paramètres entraîné sur 80+ langages de programmation.
Motif de la recommandation :L'article détaille le fine-tuning de StarCoder avec ChatML et DeepSpeed ZeRO-3, une méthode transférable pour transformer un modèle de code en assistant conversationnel.
BigCode, collaboration entre Hugging Face et ServiceNow, publie StarCoder et StarCoderBase.
Motif de la recommandation :StarCoder est publié avec ses poids, sa licence et ses benchmarks, ce qui permet de comparer directement ses performances à celles des modèles ouverts et fermés.
Le blog Hugging Face explique comment exécuter le modèle open source de génération d'images texte-image IF de DeepFloyd sur un Google Colab gratuit avec la bibliothèque diffusers. IF fonctionne directement dans l'espace pixel et utilise T5-XXL comme encodeur de texte, ce qui lui permet de générer des détails haute fréquence comme les visages et les mains ainsi que du texte dans les images, mais ses composants totalisent plus de 10 milliards de paramètres, avec T5-XXL à 20 Go et le UNet de l'étape 1 à 17,2 Go en float32. Le tutoriel montre comment charger T5 en quantification 8 bits via bitsandbytes, charger modulairement chaque composant avec device_map, libérer la mémoire GPU entre les étapes, et enchaîner les trois étapes de génération, de variation d'image et d'inpainting. L'auteur précise que cette configuration échange de la vitesse contre de la mémoire et n'est pas recommandée en production, où un A100 de 40 Go est préférable.
Motif de la recommandation :Détaille comment exécuter le modèle de génération d'images IF sur un Colab gratuit via quantification 8 bits et chargement modulaire, avec des étapes directement réutilisables.
Hugging Face détaille en trois étapes l'entraînement d'un ControlNet pour Stable Diffusion.
Motif de la recommandation :Le guide détaille les trois étapes d'entraînement d'un ControlNet et fournit les paramètres pour tenir sur 8 Go de VRAM.
Hugging Face annonce l'intégration officielle de trl avec peft.
Motif de la recommandation :Présente une méthode concrète pour exécuter un fine-tuning RLHF de modèle 20B sur un seul GPU 24GB, avec les étapes et les bibliothèques utilisées.
Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.
Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.
Après les séismes de magnitude 7,7 et 7,6 survenus le 6 février 2023 dans le sud-est de la Turquie.
Motif de la recommandation :L'auteur détaille la chaîne complète OCR, NER et classification d'intentions déployée après le séisme en Turquie, une méthode réutilisable pour des applications d'urgence.
Hugging Face présente l'intégration de ControlNet dans la bibliothèque Diffusers via la classe StableDiffusionControlNetPipeline.
Motif de la recommandation :Le guide détaille l'intégration de ControlNet dans Diffusers avec des exemples de code exécutables et des optimisations de vitesse et de mémoire.
Le blog Hugging Face présente BLIP-2 de Salesforce Research, un modèle visuel-langage zero-shot désormais intégré à Transformers.
Motif de la recommandation :Présente le fonctionnement de Q-Former et des exemples de code exécutables pour la légende d'images, le VQA et le dialogue multimodal.