Aller au contenu
10 octobrejeu.
9 octobremer.
  1. Hugging Face Blog40

    Hugging Face + Dask : mise à l'échelle du traitement de données IA

    Hugging Face et Dask permettent de traiter le dataset FineWeb à l'échelle de 211 millions de lignes en parallélisant l'inférence du classifieur FineWeb-Edu sur plusieurs GPU dans le cloud. Le dataset FineWeb contient 15 000 milliards de tokens issus de Common Crawl, soit 432 Go sur disque et environ 715 Go en mémoire répartis sur 250 fichiers Parquet. Dask DataFrame reproduit l'API pandas et gère le calcul out-of-core en découpant les données en chunks, avec écriture distribuée au format Parquet et squash de l'historique des commits via HfApi.

1 octobremar.
  1. OpenAI News62

    OpenAI introduit la vision dans l'API de fine-tuning

    OpenAI annonce que les développeurs peuvent désormais fine-tuner GPT-4o avec des images et du texte afin d'améliorer les capacités de vision.

    Motif de la recommandation :L'API de fine-tuning de GPT-4o prend désormais en charge les images et le texte, ce qui permet aux développeurs d'ajuster directement les capacités de vision.

23 septembrelun.
  1. Hugging Face Blog62

    Hugging Face dévoile les coulisses de FineVideo, un jeu de données de 43 000 vidéos annotées

    Hugging Face publie les détails techniques de FineVideo, un jeu de données de 43 000 vidéos totalisant 3 400 heures.

    Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.

17 septembremar.
27 aoûtmar.
26 aoûtlun.
21 aoûtmer.
14 aoûtmer.
8 aoûtjeu.
6 aoûtmar.
23 juilletmar.
16 juilletmar.
  1. Hugging Face Blog34

    Comment utiliser distilabel pour créer un chatbot Argilla 2.0

    Hugging Face détaille la création d'un chatbot pour Argilla 2.0 en s'appuyant sur distilabel pour générer un dataset synthétique et fine-tuner un modèle d'embedding spécialisé. Le processus couvre le chunking de la documentation technique (environ 256 tokens par chunk), la génération de questions synthétiques et d'exemples négatifs difficiles, la création d'une base vectorielle et le déploiement du chatbot sur Hugging Face Spaces. Les interactions sont stockées dans Argilla pour une évaluation et une amélioration continues.

11 juilletjeu.
  1. Hugging Face Blog67

    Comment NuminaMath a remporté le 1er AIMO Progress Prize

    Numina et Hugging Face ont remporté le 1er Progress Prize de l'AI Math Olympiad (AIMO) avec NuminaMath 7B TIR.

    Motif de la recommandation :L'article détaille la recette d'entraînement en deux étapes et l'algorithme SC-TIR qui ont permis de résoudre 29 problèmes sur 50, une méthode transférable pour le fine-tuning d'un modèle de raisonnement mathématique.

10 juilletmer.
24 juinlun.
21 juinven.
18 juinmar.
13 juinjeu.
5 juinmer.
28 maimar.
22 maimer.
16 maijeu.
1 maimer.
19 avrilven.
4 avriljeu.
20 marsmer.
  1. Hugging Face Blog62

    Cosmopedia : comment créer des données synthétiques à grande échelle pour le pré-entraînement des LLM

    Hugging Face présente Cosmopedia, un jeu de données synthétiques de plus de 30 millions de fichiers et 25 milliards de tokens généré par Mixtral-8x7B-Instruct-v0.1.

    Motif de la recommandation :L'article détaille la construction d'un jeu de données synthétiques de 25 milliards de tokens, avec la méthode de génération des prompts et la pile technique, utile pour ceux qui veulent reproduire ce type de données.

  2. Hugging Face Blog62

    GaLore : entraîner de grands modèles sur du matériel grand public

    Le blog Hugging Face présente GaLore, une méthode qui projette les gradients dans un sous-espace de bas rang pour réduire la mémoire des états d'optimiseur de plus de 82.

    Motif de la recommandation :L'article détaille la réduction de plus de 82,5 % de la mémoire des états d'optimiseur et fournit un exemple exécutable avec transformers, utile pour l'entraînement sur GPU grand public.

18 marslun.
15 marsven.
  1. Hugging Face Blog55

    Hugging Face publie le dataset WebSight et le modèle Sightseer pour convertir les captures d'écran web en code HTML

    Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.

4 marslun.
26 févrierlun.
23 févrierven.
19 févrierlun.