Aller au contenu

Orientations techniques

Données et entraînement Dernières actualités

Les dessous de l'entraînement : construction de jeux de données, données synthétiques, méthodes de pré-entraînement et de post-entraînement, puissance de calcul et coûts d'entraînement.

421 sélections30 derniers jours 196 entréesTotal : 1 416 entrées

mise à jour

Archives de la sélection · page 19

2 janviermar.361–380 entrées
3 octobremar.
13 septembremer.
1 aoûtmar.
12 juinlun.
  1. Hugging Face Blog62

    Les modèles de fondation peuvent-ils annoter des données comme des humains ?

    Hugging Face étend l'Open LLM Leaderboard avec des annotations humaines et des évaluations GPT-4 sur un jeu de test aveugle de 327 prompts.

    Motif de la recommandation :L'étude compare les annotations humaines et GPT-4 sur un même jeu de prompts et quantifie le biais positionnel ainsi que les écarts de corrélation par catégorie de tâche.

31 maimer.
  1. OpenAI News78

    OpenAI améliore le raisonnement mathématique par la supervision du processus

    OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.

    Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.

9 maimar.
  1. OpenAI News62

    OpenAI : les modèles de langage peuvent expliquer les neurones des modèles de langage

    OpenAI utilise GPT-4 pour écrire et noter automatiquement des explications du comportement des neurones dans les grands modèles de langage. L'entreprise publie un jeu de données d'explications et de notes, imparfaites, pour chaque neurone de GPT-2.

    Motif de la recommandation :OpenAI utilise GPT-4 pour expliquer et noter automatiquement les neurones de GPT-2, et publie un jeu de données d'explications imparfaites.

25 avrilmar.
  1. OpenAI News62

    ChatGPT permet de désactiver l'historique des conversations

    ChatGPT permet désormais aux utilisateurs de désactiver l'historique des conversations, afin de choisir quelles conversations peuvent être utilisées pour entraîner les modèles d'OpenAI.

    Motif de la recommandation :L'original expose une option de désactivation de l'historique des conversations, ce qui permet au lecteur de savoir quelles données peuvent servir à l'entraînement.

24 marsven.
19 marsdim.
17 marsven.
6 marslun.
  1. Hugging Face Blog65

    Kakao Brain publie les modèles ViT et ALIGN et le jeu de données COYO

    Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.

    Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.

3 marsven.
31 janviermar.
26 janvierjeu.
7 novembrelun.
3 novembrejeu.
19 octobremer.
  1. Hugging Face Blog60

    MTEB : un benchmark massif pour les modèles d'embedding de texte

    Hugging Face présente MTEB, un benchmark massif destiné à mesurer les performances des modèles d'embedding de texte sur des tâches variées. Il regroupe 56 jeux de données répartis en 8 tâches, jusqu'à 112 langues, et un classement public de plus de 2000 résultats. La bibliothèque MTEB permet d'évaluer n'importe quel modèle produisant des embeddings et de soumettre ses résultats au classement.

    Motif de la recommandation :Le MTEB couvre 56 jeux de données et 8 tâches, avec un classement public et une bibliothèque réutilisable pour évaluer les modèles d'embedding.