Aller au contenu
18 novembrelun.
23 octobremer.
1 octobremar.
  1. OpenAI News62

    OpenAI introduit la vision dans l'API de fine-tuning

    OpenAI annonce que les développeurs peuvent désormais fine-tuner GPT-4o avec des images et du texte afin d'améliorer les capacités de vision.

    Motif de la recommandation :L'API de fine-tuning de GPT-4o prend désormais en charge les images et le texte, ce qui permet aux développeurs d'ajuster directement les capacités de vision.

26 septembrejeu.
23 septembrelun.
  1. Hugging Face Blog62

    Hugging Face dévoile les coulisses de FineVideo, un jeu de données de 43 000 vidéos annotées

    Hugging Face publie les détails techniques de FineVideo, un jeu de données de 43 000 vidéos totalisant 3 400 heures.

    Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.

17 septembremar.
14 aoûtmer.
6 aoûtmar.
25 juilletjeu.
24 juilletmer.
  1. Mistral AI78

    Mistral AI publie Mistral Large 2 avec 123 milliards de paramètres

    Mistral AI publie Mistral Large 2, un modèle de 123 milliards de paramètres doté d'une fenêtre de contexte de 128k et conçu pour l'inférence sur un seul nœud. Il est distribué sous licence de recherche Mistral, une licence commerciale étant requise pour l'auto-déploiement en usage commercial, et accessible via la Plateforme sous le nom mistral-large-2407 ainsi que sur Hugging Face. Le modèle affiche 84,0 % sur MMLU et couvre plus de 80 langages de programmation, avec des appels de fonctions parallèles et séquentiels renforcés.

    Motif de la recommandation :Mistral Large 2 détaille fenêtre de contexte, licence et performances comparées, utile pour évaluer le compromis coût et capacité en déploiement.

18 juilletjeu.
  1. Mistral AI78

    Mistral AI publie Mistral NeMo, un modèle 12B avec une fenêtre de contexte de 128k

    Mistral AI publie Mistral NeMo, un modèle 12B développé en collaboration avec NVIDIA.

    Motif de la recommandation :Mistral NeMo est un modèle 12B à fenêtre de 128k, sous licence Apache 2.0, avec un tokenizer Tekken plus efficace et une quantification FP8, ce qui permet d'évaluer les compromis entre taille, contexte et coût d'inférence.

10 juilletmer.
24 juinlun.
24 maiven.
14 maimar.
  1. Hugging Face Blog73

    Google publie PaliGemma, une famille de modèles vision-langage open source

    Google publie PaliGemma, une famille de modèles vision-langage open source composée d'un encodeur d'images SigLIP-So400m et d'un décodeur de texte Gemma-2B. Trois types de checkpoints sont disponibles (pré-entraînés, mix et fine-tunés), en résolutions 224x224, 448x448 et 896x896 et en précisions bfloat16, float16 et float32, avec intégration à transformers et à l'implémentation JAX d'origine. Les modèles mix atteignent 46,00 de précision MMVP et 88,00 de précision POPE en 224, tandis que les modèles fine-tunés couvrent des tâches comme VQAv2, COCO Captions, ScienceQA et refcoco.

    Motif de la recommandation :Présentation des trois variantes de PaliGemma, de leur architecture SigLIP+Gemma et des scores de benchmarks transférés, utile pour évaluer les modèles vision-langage open source.

13 mailun.
15 avrillun.
  1. Hugging Face Blog72

    Hugging Face publie Idefics2, un modèle multimodal ouvert de 8B paramètres

    Hugging Face publie Idefics2, un modèle multimodal généraliste de 8B paramètres sous licence Apache 2.0.

    Motif de la recommandation :Idefics2, avec 8B de paramètres et une licence Apache 2.0, atteint des performances comparables à des modèles de 30B et plus sur plusieurs benchmarks, ce qui permet de situer les capacités des modèles multimodaux ouverts de cette taille.

11 avriljeu.
25 marslun.
15 marsven.
  1. Hugging Face Blog55

    Hugging Face publie le dataset WebSight et le modèle Sightseer pour convertir les captures d'écran web en code HTML

    Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.

5 marsmar.
26 févrierlun.
6 novembrelun.
  1. OpenAI News93

    OpenAI annonce de nouveaux modèles et produits pour développeurs au DevDay

    OpenAI annonce au DevDay GPT-4 Turbo avec une fenêtre de contexte de 128K et des prix réduits, la nouvelle Assistants API, GPT-4 Turbo with Vision et l'API DALL·E 3, entre autres.

    Motif de la recommandation :Récapitulatif des nouveautés annoncées au DevDay, utile pour situer les changements de modèles et d'API destinés aux développeurs.

25 septembrelun.
18 maijeu.
14 marsmar.
  1. OpenAI News92

    OpenAI publie GPT-4, un grand modèle multimodal

    OpenAI a créé GPT-4, un grand modèle multimodal qui accepte les entrées d'images et de texte et produit des sorties textuelles. OpenAI indique qu'il est moins capable que les humains dans de nombreux scénarios réels, mais qu'il atteint des performances de niveau humain sur divers benchmarks professionnels et académiques.

    Motif de la recommandation :L'annonce présente les entrées multimodales de GPT-4 et ses performances de niveau humain sur plusieurs benchmarks professionnels et académiques.

6 marslun.
  1. Hugging Face Blog65

    Kakao Brain publie les modèles ViT et ALIGN et le jeu de données COYO

    Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.

    Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.

15 févriermer.
3 févrierven.
16 janvierlun.
  1. Hugging Face Blog30

    Similarité d'images avec Hugging Face Datasets et Transformers

    Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.

23 juinjeu.
  1. OpenAI News78

    OpenAI apprend à Minecraft via Video PreTraining

    OpenAI a entraîné un réseau de neurones à jouer à Minecraft par Video PreTraining (VPT) sur un vaste ensemble de vidéos non étiquetées de parties humaines.

    Motif de la recommandation :Présente une méthode d'entraînement par pré-entraînement vidéo et une tâche de fabrication d'outils en diamant, utile pour comprendre les capacités des agents sur ordinateur.