2023, l'année des LLM open source
Hugging Face dresse une rétrospective de 2023 comme année des LLM open source.
Hugging Face dresse une rétrospective de 2023 comme année des LLM open source.
Intel Labs et Hugging Face présentent SetFitABSA, un framework de few-shot training pour l'analyse de sentiment par aspect (ABSA) qui.
Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.
OpenAI annonce des Data Partnerships visant à constituer des datasets open source et privés pour l'entraînement de l'IA. L'initiative repose sur une collaboration avec des partenaires externes afin de produire ces données. Aucun détail sur les modèles concernés, les volumes de données ou les modalités de mise à disposition n'est précisé.
Explosion lance Prodigy-HF, un plugin qui intègre directement l'outil d'annotation Prodigy au stack Hugging Face. Il permet de fine-tuner tout modèle Transformer du Hub.
Renumics Spotlight permet de visualiser interactivement les datasets Hugging Face avec une seule ligne de code.
Hugging Face annonce que ses tokenizers disposent désormais d'un attribut chat_template.
Motif de la recommandation :L'article explique comment les chat templates stockent le format d'entraînement dans le tokenizer et évitent une dégradation silencieuse des performances.
Hugging Face a mis en ligne un Object Detection Leaderboard qui classe les modèles de détection d'objets disponibles sur le Hub selon plusieurs métriques. Le classement s'appuie sur l'IoU.
Hugging Face explique comment fine-tuner Llama 2 70B avec PyTorch FSDP sur 2 nœuds de 8 GPU A100 80GB.
Motif de la recommandation :Le guide détaille les trois obstacles du fine-tuning de Llama 2 70B sous FSDP et les solutions concrètes apportées par Transformers et Accelerate.
Hugging Face déploie Huggy Lingo, un système qui détecte automatiquement la langue des datasets du Hub dépourvus de métadonnées linguistiques et ouvre des pull requests via librarian-bots pour les ajouter. Le modèle fastText de Meta (facebook/fasttext-language-identification), issu des travaux No Language Left Behind, identifie 217 langues à partir de 20 lignes de texte récupérées via l'API dataset viewer. Environ 87 % des quelque 50 000 datasets publics ne précisent pas leur langue, contre 13 % qui le font, l'anglais représentant à lui seul près de 19 % des tags déclarés.
Segmind a mis en open source le code d'entraînement et les poids de ses modèles SD-Small et SD-Tiny.
Motif de la recommandation :L'article détaille la méthode de distillation par suppression de blocs et publie le code et les poids, ce qui permet de reproduire et d'adapter ces modèles compressés.
Hugging Face détaille le fine-tuning d'un modèle Stable Diffusion sur un cluster de quatre serveurs Intel Sapphire Rapids.
Viable exploite GPT-4 pour analyser des données qualitatives à une échelle révolutionnaire avec une précision inégalée. L'outil s'appuie sur le modèle d'OpenAI pour traiter de grands volumes de données qualitatives.
Optimum Habana v1.7 sur Habana Gaudi2 atteint des accélérations de x2,5 par rapport à l'A100 et x1.
Le blog Hugging Face explique comment le fine-tuning des couches Adapter de MMS atteint un taux d'erreur de mots très faible après seulement 10 à 20 minutes d'entraînement.
Le Hugging Face Hub héberge plus de 190 000 modèles de machine learning, 33 000 datasets et plus de 100 000 applications et démos.
Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts.
Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.
Hugging Face a intégré DuckDB au Hub pour exécuter des requêtes SQL sur n'importe quel dataset public.
OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.
Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.
Hugging Face explore le fine-tuning par instructions de Stable Diffusion en s'appuyant sur la méthode InstructPix2Pix pour suivre des instructions d'édition précises comme la cartoonisation ou le débruitage d'image. Le pipeline génère 50 phrases synonymes via ChatGPT pour l'instruction « Cartoonize the image », puis utilise 5000 échantillons d'Imagenette traités par un modèle Whitebox CartoonGAN pré-entraîné comme labels. Le code, les modèles pré-entraînés et les datasets sont publiés en open source.
Hugging Face détaille la near-deduplication à grande échelle mise en œuvre pour BigCode.
OpenAI utilise GPT-4 pour écrire et noter automatiquement des explications du comportement des neurones dans les grands modèles de langage. L'entreprise publie un jeu de données d'explications et de notes, imparfaites, pour chaque neurone de GPT-2.
Motif de la recommandation :OpenAI utilise GPT-4 pour expliquer et noter automatiquement les neurones de GPT-2, et publie un jeu de données d'explications imparfaites.
Hugging Face détaille comment fine-tuner StarCoder, un modèle de 16B paramètres entraîné sur 80+ langages de programmation.
Motif de la recommandation :L'article détaille le fine-tuning de StarCoder avec ChatML et DeepSpeed ZeRO-3, une méthode transférable pour transformer un modèle de code en assistant conversationnel.
Hugging Face détaille l'entraînement from scratch d'un RoBERTa (modèle base) sur le jeu de données WikiText (v1) avec TensorFlow et TPU.
Databricks a publié sa première contribution officielle au code de Hugging Face.
ChatGPT permet désormais aux utilisateurs de désactiver l'historique des conversations, afin de choisir quelles conversations peuvent être utilisées pour entraîner les modèles d'OpenAI.
Motif de la recommandation :L'original expose une option de désactivation de l'historique des conversations, ce qui permet au lecteur de savoir quelles données peuvent servir à l'entraînement.
Hugging Face et Substra ont publié une démo (Space) illustrant l'apprentissage fédéré.
Hugging Face et Flower permettent de fédérer le fine-tuning d'un Transformer pré-entraîné (distilBERT) sur un jeu de données IMDB pour la classification de sentiments.
Hugging Face détaille en trois étapes l'entraînement d'un ControlNet pour Stable Diffusion.
Motif de la recommandation :Le guide détaille les trois étapes d'entraînement d'un ControlNet et fournit les paramètres pour tenir sur 8 Go de VRAM.
OpenAI publie une première analyse de l'impact potentiel des grands modèles de langage sur le marché du travail.
Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.
Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.
Après les séismes de magnitude 7,7 et 7,6 survenus le 6 février 2023 dans le sud-est de la Turquie.
Motif de la recommandation :L'auteur détaille la chaîne complète OCR, NER et classification d'intentions déployée après le séisme en Turquie, une méthode réutilisable pour des applications d'urgence.
Hugging Face consacre le cinquième volet de sa série « AI for Game Development » à l'usage de ChatGPT pour écrire l'histoire d'un jeu de ferme. Le modèle reproduit d'abord des récits existants proches de Stardew Valley, puis s'améliore par allers-retours successifs, mais montre des limites : répétition sur les contenus longs, risques juridiques, éthiques et commerciaux en cas d'usage direct des sorties. L'auteur recommande de réserver ChatGPT au brainstorming et à la rédaction d'ébauches, la rédaction finale restant manuelle.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
Hugging Face a publié une analyse des techniques derrière ChatGPT — RLHF, IFT, CoT.
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme.
Hugging Face publie une introduction au machine learning sur graphes couvrant les fondamentaux.
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids.
Lilian Weng, chercheuse en recherche appliquée en IA chez OpenAI.
Hugging Face annonce la sortie d'un outil de création de Model Cards avec interface graphique.