Orientations techniques
L'actualité des modèles, frameworks et dépôts open source : ouverture des poids, succès fulgurants des projets communautaires, rapport de force entre open source et modèles fermés.
228 sélections30 derniers jours 15 entréesTotal : 438 entrées
Meta publie Llama 2, une famille de grands modèles de langage open access de 7B à 70B paramètres.
Motif de la recommandation :Présente l'intégration complète de Llama 2 dans Hugging Face, avec les modèles, l'inférence et le fine-tuning, utile pour évaluer les options de déploiement.
Hugging Face détaille l'intégration des modèles Falcon de TII, publiés sous licence Apache 2.0.
Motif de la recommandation :L'article détaille l'intégration de Falcon dans l'écosystème Hugging Face, avec des exemples d'inférence, de quantification et de fine-tuning directement réutilisables.
Hugging Face annonce l'intégration de la quantification 4 bits via bitsandbytes dans transformers.
Motif de la recommandation :L'intégration de la quantification 4 bits et de QLoRA dans transformers permet d'entraîner des modèles 65B sur un seul GPU 48GB, avec les benchmarks T4 fournis.
Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors.
Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.
Hugging Face annonce l'intégration de l'architecture RWKV dans sa bibliothèque transformers.
Motif de la recommandation :L'article détaille l'intégration de l'architecture RWKV dans transformers et fournit des exemples de code exécutables, ce qui permet de reproduire directement le flux de génération de texte.
BigCode, collaboration entre Hugging Face et ServiceNow, publie StarCoder et StarCoderBase.
Motif de la recommandation :StarCoder est publié avec ses poids, sa licence et ses benchmarks, ce qui permet de comparer directement ses performances à celles des modèles ouverts et fermés.
Hugging Face publie StackLLaMA, un modèle LLaMA 7B entraîné avec RLHF pour répondre aux questions de Stack Exchange.
Motif de la recommandation :Le guide détaille tout le pipeline RLHF de StackLLaMA, du jeu de données à l'entraînement PPO, avec des configurations LoRA et des commandes réutilisables.
Hugging Face annonce l'intégration officielle de trl avec peft.
Motif de la recommandation :Présente une méthode concrète pour exécuter un fine-tuning RLHF de modèle 20B sur un seul GPU 24GB, avec les étapes et les bibliothèques utilisées.
Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.
Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.
Après les séismes de magnitude 7,7 et 7,6 survenus le 6 février 2023 dans le sud-est de la Turquie.
Motif de la recommandation :L'auteur détaille la chaîne complète OCR, NER et classification d'intentions déployée après le séisme en Turquie, une méthode réutilisable pour des applications d'urgence.
Hugging Face présente l'intégration de ControlNet dans la bibliothèque Diffusers via la classe StableDiffusionControlNetPipeline.
Motif de la recommandation :Le guide détaille l'intégration de ControlNet dans Diffusers avec des exemples de code exécutables et des optimisations de vitesse et de mémoire.
Hugging Face annonce la bibliothèque PEFT, qui regroupe des techniques de fine-tuning économe en paramètres intégrées à Transformers et Accelerate. Elle prend en charge LoRA.
Motif de la recommandation :La bibliothèque PEFT de Hugging Face permet de fine-tuner des LLM avec une fraction des paramètres, ce qui réduit fortement les coûts de calcul et de stockage.
Hugging Face annonce l'intégration du modèle SpeechT5 de Microsoft Research Asia dans la bibliothèque open source Transformers. Ce modèle unique gère la synthèse vocale.
Motif de la recommandation :Le billet détaille l'intégration de SpeechT5 dans Transformers et fournit des exemples de code pour la synthèse vocale, la conversion de voix et la reconnaissance automatique de la parole.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
Hugging Face annonce que sa bibliothèque Optimum intègre ONNX Runtime Training.
Motif de la recommandation :L'original détaille l'intégration d'ONNX Runtime dans Optimum et les gains d'entraînement mesurés, ce qui aide à évaluer l'impact sur les coûts de fine-tuning.
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Hugging Face a publié la version 0.3 de la bibliothèque diffusers, qui ajoute des pipelines image-to-image.
Motif de la recommandation :L'original détaille les nouvelles fonctionnalités de diffusers 0.3 et les optimisations de VRAM, ce qui permet de juger des flux de génération d'images à mettre en place.
Hugging Face présente comment utiliser Stable Diffusion, un modèle de diffusion latent texte-image créé par CompVis.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
Hugging Face intègre LLM.int8() dans transformers et accelerate.
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face annonce Evaluation on the Hub, un outil propulsé par AutoTrain qui permet d'évaluer n'importe quel modèle sur n'importe quel jeu de données du Hub sans écrire une ligne de code. Les résultats sont encodés dans les métadonnées des fiches de modèles et une pull request est ouverte automatiquement, avec des classements par jeu de données et par métrique. L'équipe a déjà évalué des centaines de modèles sur plusieurs jeux de données clés et cite trois cas d'usage principaux : trouver le meilleur modèle pour une tâche, évaluer des modèles sur un nouveau jeu de données et tester un modèle sur de nombreux jeux de données liés.
Motif de la recommandation :Hugging Face ouvre l'évaluation de modèles sur le Hub sans code, avec résultats intégrés aux fiches de modèles et classements consultables.