Aller au contenu
16 févrierven.
  1. Hugging Face Blog73

    Hugging Face : générer des données synthétiques avec un LLM open source pour entraîner un modèle spécialisé

    Hugging Face détaille une méthode pour créer des données synthétiques avec le LLM open source Mixtral-8x7B-Instruct-v0.1 afin d'entraîner un petit modèle spécialisé.

    Motif de la recommandation :Un cas concret de distillation par données synthétiques avec coûts, latence et émissions comparés à GPT-4, et des notebooks réutilisables.

2 févrierven.
1 févrierjeu.
31 janviermer.
25 janvierjeu.
19 janvierven.
18 janvierjeu.
12 janvierven.
2 janviermar.
18 décembrelun.
6 décembremer.
1 décembreven.
  1. Hugging Face Blog52

    Open LLM Leaderboard retire le benchmark DROP après avoir identifié des erreurs de notation

    Hugging Face a retiré le benchmark DROP de l'Open LLM Leaderboard après avoir constaté que la majorité des modèles obtenaient un f1-score inférieur à 10 sur 100. L'enquête a révélé que la normalisation ignorait les réponses numériques suivies d'un espace autre qu'un espace simple, et que l'utilisation du point comme token d'arrêt interrompait les réponses à virgule flottante et pénalisait les modèles générant de longues réponses. Une réexécution complète coûtant 8 années de temps GPU, l'équipe a décidé de retirer DROP jusqu'à ce qu'une nouvelle version corrige le scoring et la normalisation.

9 novembrejeu.
  1. OpenAI News22

    OpenAI lance des partenariats de données pour créer des datasets open source et privés destinés à l'entraînement de l'IA

    OpenAI annonce des Data Partnerships visant à constituer des datasets open source et privés pour l'entraînement de l'IA. L'initiative repose sur une collaboration avec des partenaires externes afin de produire ces données. Aucun détail sur les modèles concernés, les volumes de données ou les modalités de mise à disposition n'est précisé.

7 novembremar.
25 octobremer.
3 octobremar.
18 septembrelun.
13 septembremer.
2 aoûtmer.
  1. Hugging Face Blog22

    Huggy Lingo : Hugging Face utilise le machine learning pour améliorer les métadonnées linguistiques du Hub

    Hugging Face déploie Huggy Lingo, un système qui détecte automatiquement la langue des datasets du Hub dépourvus de métadonnées linguistiques et ouvre des pull requests via librarian-bots pour les ajouter. Le modèle fastText de Meta (facebook/fasttext-language-identification), issu des travaux No Language Left Behind, identifie 217 langues à partir de 20 lignes de texte récupérées via l'API dataset viewer. Environ 87 % des quelque 50 000 datasets publics ne précisent pas leur langue, contre 13 % qui le font, l'anglais représentant à lui seul près de 19 % des tags déclarés.

1 aoûtmar.
14 juilletven.
7 juilletven.
29 juinjeu.
19 juinlun.
12 juinlun.
  1. Hugging Face Blog62

    Les modèles de fondation peuvent-ils annoter des données comme des humains ?

    Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts.

    Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.

7 juinmer.
31 maimer.
  1. OpenAI News78

    OpenAI améliore le raisonnement mathématique par la supervision du processus

    OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.

    Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.

23 maimar.
  1. Hugging Face Blog42

    Instruction-tuning de Stable Diffusion avec InstructPix2Pix

    Hugging Face explore le fine-tuning par instructions de Stable Diffusion en s'appuyant sur la méthode InstructPix2Pix pour suivre des instructions d'édition précises comme la cartoonisation ou le débruitage d'image. Le pipeline génère 50 phrases synonymes via ChatGPT pour l'instruction « Cartoonize the image », puis utilise 5000 échantillons d'Imagenette traités par un modèle Whitebox CartoonGAN pré-entraîné comme labels. Le code, les modèles pré-entraînés et les datasets sont publiés en open source.

16 maimar.
9 maimar.
  1. OpenAI News62

    OpenAI : les modèles de langage peuvent expliquer les neurones des modèles de langage

    OpenAI utilise GPT-4 pour écrire et noter automatiquement des explications du comportement des neurones dans les grands modèles de langage. L'entreprise publie un jeu de données d'explications et de notes, imparfaites, pour chaque neurone de GPT-2.

    Motif de la recommandation :OpenAI utilise GPT-4 pour expliquer et noter automatiquement les neurones de GPT-2, et publie un jeu de données d'explications imparfaites.

27 avriljeu.
26 avrilmer.
25 avrilmar.
  1. OpenAI News62

    ChatGPT permet de désactiver l'historique des conversations

    ChatGPT permet désormais aux utilisateurs de désactiver l'historique des conversations, afin de choisir quelles conversations peuvent être utilisées pour entraîner les modèles d'OpenAI.

    Motif de la recommandation :L'original expose une option de désactivation de l'historique des conversations, ce qui permet au lecteur de savoir quelles données peuvent servir à l'entraînement.

12 avrilmer.
27 marslun.
24 marsven.
19 marsdim.