OpenAI présente MLE-bench, un benchmark destiné à mesurer la performance des agents IA sur des tâches d'ingénierie du machine learning. Le benchmark vise à évaluer dans quelle mesure ces agents savent mener des travaux d'ingénierie ML, sans que le texte source précise de chiffres, de modèles ou de résultats associés.
Hugging Face et Dask permettent de traiter le dataset FineWeb à l'échelle de 211 millions de lignes en parallélisant l'inférence du classifieur FineWeb-Edu sur plusieurs GPU dans le cloud. Le dataset FineWeb contient 15 000 milliards de tokens issus de Common Crawl, soit 432 Go sur disque et environ 715 Go en mémoire répartis sur 250 fichiers Parquet. Dask DataFrame reproduit l'API pandas et gère le calcul out-of-core en découpant les données en chunks, avec écriture distribuée au format Parquet et squash de l'historique des commits via HfApi.
Motif de la recommandation :L'API de fine-tuning de GPT-4o prend désormais en charge les images et le texte, ce qui permet aux développeurs d'ajuster directement les capacités de vision.
Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.
Hugging Face présente LeRobotDataset, un format de dataset robotique qui stocke les modalités visuelles en vidéo encodée plutôt qu'en images PNG individuelles.
Motif de la recommandation :L'annonce détaille l'acquisition de XetHub par Hugging Face et les gains attendus pour le stockage des dépôts de modèles et de jeux de données.
Motif de la recommandation :Détaille les exigences mémoire, les intégrations et les recettes de quantification de Llama 3.1, utile pour planifier le déploiement et le fine-tuning.
Hugging Face détaille la création d'un chatbot pour Argilla 2.0 en s'appuyant sur distilabel pour générer un dataset synthétique et fine-tuner un modèle d'embedding spécialisé. Le processus couvre le chunking de la documentation technique (environ 256 tokens par chunk), la génération de questions synthétiques et d'exemples négatifs difficiles, la création d'une base vectorielle et le déploiement du chatbot sur Hugging Face Spaces. Les interactions sont stockées dans Argilla pour une évaluation et une amélioration continues.
Motif de la recommandation :L'article détaille la recette d'entraînement en deux étapes et l'algorithme SC-TIR qui ont permis de résoudre 29 problèmes sur 50, une méthode transférable pour le fine-tuning d'un modèle de raisonnement mathématique.
Motif de la recommandation :Mistral ouvre trois voies de personnalisation, du SDK open source au fine-tuning serverless, ce qui permet de situer le coût et l'effort requis selon son infrastructure.
OpenAI et News Corp ont conclu un partenariat mondial pluriannuel visant à enrichir les produits et plateformes d'IA générative d'OpenAI avec du journalisme premium. L'accord porte sur l'intégration de contenus d'actualité de News Corp dans les produits OpenAI.
OpenAI a banni les comptes associés à l'opération d'origine iranienne « IUVM », qui utilisait l'IA pour générer et traduire du contenu de sites web pro-iranien, anti-israélien et anti-américain.
Hugging Face présente Cosmopedia, un jeu de données synthétiques de plus de 30 millions de fichiers et 25 milliards de tokens généré par Mixtral-8x7B-Instruct-v0.1.
Motif de la recommandation :L'article détaille la construction d'un jeu de données synthétiques de 25 milliards de tokens, avec la méthode de génération des prompts et la pile technique, utile pour ceux qui veulent reproduire ce type de données.
Le blog Hugging Face présente GaLore, une méthode qui projette les gradients dans un sous-espace de bas rang pour réduire la mémoire des états d'optimiseur de plus de 82.
Motif de la recommandation :L'article détaille la réduction de plus de 82,5 % de la mémoire des états d'optimiseur et fournit un exemple exécutable avec transformers, utile pour l'entraînement sur GPU grand public.
Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.
Argilla et Hugging Face lancent « Data is Better Together », une expérience de construction collective d'un dataset de préférences par classement de prompts.