Motif de la recommandation :L'annonce détaille les performances de Pixtral Large sur plusieurs benchmarks et sa disponibilité sous licence ouverte, ce qui permet de situer le modèle face à GPT-4o et Gemini-1.5 Pro.
Motif de la recommandation :L'API de fine-tuning de GPT-4o prend désormais en charge les images et le texte, ce qui permet aux développeurs d'ajuster directement les capacités de vision.
Motif de la recommandation :L'article détaille le pipeline de filtrage, catégorisation et annotation de FineVideo, avec les compromis techniques et les seuils retenus pour construire un jeu de données vidéo ouvert.
Motif de la recommandation :L'annonce détaille les nouveaux tarifs par modèle et le palier gratuit de la Plateforme, ce qui permet d'évaluer le coût d'usage des API Mistral.
Motif de la recommandation :Présente l'architecture et les performances de Pixtral 12B, avec des comparaisons face aux modèles ouverts et fermés de même échelle.
Hugging Face présente LAVE (LLM-Assisted VQA Evaluation), une métrique d'évaluation VQA assistée par LLM qui note les réponses de 1 à 3 via Llama-2-Chat-7b.
Mistral AI publie Mistral Large 2, un modèle de 123 milliards de paramètres doté d'une fenêtre de contexte de 128k et conçu pour l'inférence sur un seul nœud. Il est distribué sous licence de recherche Mistral, une licence commerciale étant requise pour l'auto-déploiement en usage commercial, et accessible via la Plateforme sous le nom mistral-large-2407 ainsi que sur Hugging Face. Le modèle affiche 84,0 % sur MMLU et couvre plus de 80 langages de programmation, avec des appels de fonctions parallèles et séquentiels renforcés.
Motif de la recommandation :Mistral Large 2 détaille fenêtre de contexte, licence et performances comparées, utile pour évaluer le compromis coût et capacité en déploiement.
Motif de la recommandation :Mistral NeMo est un modèle 12B à fenêtre de 128k, sous licence Apache 2.0, avec un tokenizer Tekken plus efficace et une quantification FP8, ce qui permet d'évaluer les compromis entre taille, contexte et coût d'inférence.
Motif de la recommandation :Falcon 2 11B est publié en version LLM et VLM, avec les détails d'entraînement et les résultats d'évaluation pour situer ses performances.
Google publie PaliGemma, une famille de modèles vision-langage open source composée d'un encodeur d'images SigLIP-So400m et d'un décodeur de texte Gemma-2B. Trois types de checkpoints sont disponibles (pré-entraînés, mix et fine-tunés), en résolutions 224x224, 448x448 et 896x896 et en précisions bfloat16, float16 et float32, avec intégration à transformers et à l'implémentation JAX d'origine. Les modèles mix atteignent 46,00 de précision MMVP et 88,00 de précision POPE en 224, tandis que les modèles fine-tunés couvrent des tâches comme VQAv2, COCO Captions, ScienceQA et refcoco.
Motif de la recommandation :Présentation des trois variantes de PaliGemma, de leur architecture SigLIP+Gemma et des scores de benchmarks transférés, utile pour évaluer les modèles vision-langage open source.
Motif de la recommandation :Idefics2, avec 8B de paramètres et une licence Apache 2.0, atteint des performances comparables à des modèles de 30B et plus sur plusieurs benchmarks, ce qui permet de situer les capacités des modèles multimodaux ouverts de cette taille.
Hugging Face publie un guide sur les vision language models (VLM), des modèles multimodaux qui prennent en entrée images et texte pour générer du texte.
Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.
Motif de la recommandation :Mistral Large est publié avec une fenêtre de contexte de 32K, le function calling et un accès via Azure, ce qui permet de situer le positionnement du modèle et les options d'intégration.
OpenAI annonce au DevDay GPT-4 Turbo avec une fenêtre de contexte de 128K et des prix réduits, la nouvelle Assistants API, GPT-4 Turbo with Vision et l'API DALL·E 3, entre autres.
Motif de la recommandation :Récapitulatif des nouveautés annoncées au DevDay, utile pour situer les changements de modèles et d'API destinés aux développeurs.
OpenAI lance l'application ChatGPT pour iOS, qui synchronise les conversations, prend en charge la saisie vocale et intègre les dernières améliorations du modèle.
GPT-4 est intégré à Duolingo pour approfondir la conversation et combler les lacunes d'apprentissage des langues. Le modèle d'OpenAI alimente les fonctionnalités conversationnelles de la plateforme, qui s'appuie sur son propre contenu pédagogique pour l'enseignement.
OpenAI a créé GPT-4, un grand modèle multimodal qui accepte les entrées d'images et de texte et produit des sorties textuelles. OpenAI indique qu'il est moins capable que les humains dans de nombreux scénarios réels, mais qu'il atteint des performances de niveau humain sur divers benchmarks professionnels et académiques.
Motif de la recommandation :L'annonce présente les entrées multimodales de GPT-4 et ses performances de niveau humain sur plusieurs benchmarks professionnels et académiques.
Kakao Brain et Hugging Face publient le jeu de données image-texte open source COYO de 700 millions de paires et deux modèles de vision-langage entraînés dessus.
Motif de la recommandation :Kakao Brain ouvre le jeu de données COYO et les modèles ViT et ALIGN, permettant aux chercheurs de reproduire l'entraînement multimodal avec accès aux données.
Motif de la recommandation :Présente le fonctionnement de Q-Former et des exemples de code exécutables pour la légende d'images, le VQA et le dialogue multimodal.
Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.
OpenAI a entraîné un réseau de neurones à jouer à Minecraft par Video PreTraining (VPT) sur un vaste ensemble de vidéos non étiquetées de parties humaines.
Motif de la recommandation :Présente une méthode d'entraînement par pré-entraînement vidéo et une tâche de fabrication d'outils en diamant, utile pour comprendre les capacités des agents sur ordinateur.