Aller au contenu
18 juilletjeu.
  1. Mistral AI78

    Mistral AI publie Mistral NeMo, un modèle 12B avec une fenêtre de contexte de 128k

    Mistral AI publie Mistral NeMo, un modèle 12B développé en collaboration avec NVIDIA.

    Motif de la recommandation :Mistral NeMo est un modèle 12B à fenêtre de 128k, sous licence Apache 2.0, avec un tokenizer Tekken plus efficace et une quantification FP8, ce qui permet d'évaluer les compromis entre taille, contexte et coût d'inférence.

10 juilletmer.
24 juinlun.
24 maiven.
14 maimar.
  1. Hugging Face Blog73

    Google publie PaliGemma, une famille de modèles vision-langage open source

    Google publie PaliGemma, une famille de modèles vision-langage open source composée d'un encodeur d'images SigLIP-So400m et d'un décodeur de texte Gemma-2B. Trois types de checkpoints sont disponibles (pré-entraînés, mix et fine-tunés), en résolutions 224x224, 448x448 et 896x896 et en précisions bfloat16, float16 et float32, avec intégration à transformers et à l'implémentation JAX d'origine. Les modèles mix atteignent 46,00 de précision MMVP et 88,00 de précision POPE en 224, tandis que les modèles fine-tunés couvrent des tâches comme VQAv2, COCO Captions, ScienceQA et refcoco.

    Motif de la recommandation :Présentation des trois variantes de PaliGemma, de leur architecture SigLIP+Gemma et des scores de benchmarks transférés, utile pour évaluer les modèles vision-langage open source.

13 mailun.
15 avrillun.
  1. Hugging Face Blog72

    Hugging Face publie Idefics2, un modèle multimodal ouvert de 8B paramètres

    Hugging Face publie Idefics2, un modèle multimodal généraliste de 8B paramètres sous licence Apache 2.0.

    Motif de la recommandation :Idefics2, avec 8B de paramètres et une licence Apache 2.0, atteint des performances comparables à des modèles de 30B et plus sur plusieurs benchmarks, ce qui permet de situer les capacités des modèles multimodaux ouverts de cette taille.

11 avriljeu.
25 marslun.
15 marsven.
  1. Hugging Face Blog55

    Hugging Face publie le dataset WebSight et le modèle Sightseer pour convertir les captures d'écran web en code HTML

    Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.

5 marsmar.
26 févrierlun.
6 novembrelun.
  1. OpenAI News93

    OpenAI annonce de nouveaux modèles et produits pour développeurs au DevDay

    OpenAI annonce au DevDay GPT-4 Turbo avec une fenêtre de contexte de 128K et des prix réduits, la nouvelle Assistants API, GPT-4 Turbo with Vision et l'API DALL·E 3, entre autres.

    Motif de la recommandation :Récapitulatif des nouveautés annoncées au DevDay, utile pour situer les changements de modèles et d'API destinés aux développeurs.

25 septembrelun.
18 maijeu.
14 marsmar.
  1. OpenAI News92

    OpenAI publie GPT-4, un grand modèle multimodal

    OpenAI a créé GPT-4, un grand modèle multimodal qui accepte les entrées d'images et de texte et produit des sorties textuelles. OpenAI indique qu'il est moins capable que les humains dans de nombreux scénarios réels, mais qu'il atteint des performances de niveau humain sur divers benchmarks professionnels et académiques.

    Motif de la recommandation :L'annonce présente les entrées multimodales de GPT-4 et ses performances de niveau humain sur plusieurs benchmarks professionnels et académiques.

6 marslun.
  1. Hugging Face Blog65

    Kakao Brain publie les modèles ViT et ALIGN et le jeu de données COYO

    Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.

    Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.

15 févriermer.
3 févrierven.
16 janvierlun.
  1. Hugging Face Blog30

    Similarité d'images avec Hugging Face Datasets et Transformers

    Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.

23 juinjeu.
  1. OpenAI News78

    OpenAI apprend à Minecraft via Video PreTraining

    OpenAI a entraîné un réseau de neurones à jouer à Minecraft par Video PreTraining (VPT) sur un vaste ensemble de vidéos non étiquetées de parties humaines.

    Motif de la recommandation :Présente une méthode d'entraînement par pré-entraînement vidéo et une tâche de fabrication d'outils en diamant, utile pour comprendre les capacités des agents sur ordinateur.

15 décembremer.
13 octobremer.
4 marsjeu.
16 janviersam.
5 janviermar.
  1. OpenAI News85

    OpenAI présente CLIP, un réseau de neurones qui associe texte et images

    OpenAI présente CLIP, un réseau de neurones qui apprend efficacement des concepts visuels à partir d'une supervision en langage naturel. CLIP peut être appliqué à n'importe quel benchmark de classification visuelle en fournissant simplement les noms des catégories à reconnaître, à la manière des capacités zero-shot de GPT-2 et GPT-3.

30 avriljeu.
25 avriljeu.
  1. OpenAI News70

    OpenAI présente MuseNet, un réseau neuronal profond capable de générer des compositions musicales

    OpenAI a créé MuseNet, un réseau neuronal profond capable de générer des compositions musicales de 4 minutes avec 10 instruments différents et de combiner des styles allant de la country à Mozart en passant par les Beatles. MuseNet n'a pas été programmé explicitement avec une compréhension musicale, mais a découvert des motifs d'harmonie, de rythme et de style en apprenant à prédire le token suivant dans des centaines de milliers de fichiers MIDI. Il utilise la même technologie non supervisée généraliste que GPT-2, un grand modèle Transformer entraîné à prédire le token suivant dans une séquence, qu'il s'agisse d'audio ou de texte.

    Motif de la recommandation :MuseNet montre comment une architecture Transformer généraliste, celle de GPT-2, peut être réutilisée pour générer de la musique sur des fichiers MIDI.