Aller au contenu
22 octobrejeu.
  1. Hugging Face Blog60

    VocabX : spécialiser le vocabulaire des petits modèles réduit le coût d'inférence de 77 %

    Dharma-AI présente VocabX, une méthode qui reconstruit le vocabulaire d'un modèle spécialisé selon le coût de chaque token plutôt que sa fréquence.

    Motif de la recommandation :L'article détaille le critère de sélection du vocabulaire pondéré par le coût et les résultats mesurés sur un correcteur de copies en production, utile pour évaluer les leviers de coût d'inférence des petits modèles spécialisés.

21 octobremer.
  1. NVIDIA Blog40

    Les leaders européens adoptent les CPU NVIDIA Vera pour bâtir une infrastructure locale

    Les fournisseurs de cloud IA Nebius, Nscale et Verda construisent avec les CPU NVIDIA Vera pour répondre aux besoins croissants de calcul des entreprises et développeurs. Conçu pour l'informatique agentique, Vera accélère le traitement CPU derrière les agents (récupération d'informations, exécution de code, évaluation des résultats) et maintient cette vitesse sur des milliers de tâches simultanées. Bull, Dell Technologies, HPE, Lenovo et Supermicro préparent des systèmes à base de Vera, tandis que ClickHouse, Cloudera, SAP et d'autres ont observé de solides résultats en tests préliminaires sur les charges analytiques et ETL.

  2. NVIDIA Blog58

    NVIDIA étend son confidential computing avec Confidential Bare Metal pour les développeurs de modèles de pointe

    NVIDIA annonce Confidential Bare Metal, une nouvelle option de déploiement de son confidential computing qui permet aux développeurs de modèles de pointe d'exécuter des charges sensibles sur une infrastructure tierce dédiée tout en gardant le contrôle de leurs modèles et données. L'offre s'articule désormais autour de trois modes, Confidential Bare Metal, Confidential Containers pour Kubernetes et Confidential Virtual Machines pour les environnements virtualisés, et s'étend aux systèmes Grace Blackwell NVL72 ainsi qu'aux systèmes x86 HGX Rubin NVL8 et DGX Rubin NVL8. Cohere prévoit d'intégrer Confidential Bare Metal à Cohere Model Vault, et Google Cloud étend sa prise en charge aux instances A4X Max équipées de GB300 NVL72.

  3. NVIDIA Blog67

    Google Cloud et NVIDIA annoncent la disponibilité générale de l'infrastructure NVIDIA Vera Rubin

    Google Cloud et NVIDIA annoncent la disponibilité générale des instances A5X, prévue le mois prochain.

    Motif de la recommandation :L'annonce détaille la configuration matérielle des instances A5X et le plan de montée en charge jusqu'à 960 000 GPU Rubin, utile pour évaluer les futurs déploiements d'agents à grande échelle.

20 octobremar.
  1. AWS Machine Learning Blog62

    AWS explique comment le transfert bidirectionnel de KV cache dans vLLM améliore le TTFT des charges agentiques multi-tours

    AWS présente le transfert bidirectionnel de KV cache dans vLLM, qui permet au nœud prefill de réutiliser le KV conservé par le nœud decode lors des tours suivants.

    Motif de la recommandation :L'article détaille l'architecture du transfert bidirectionnel de KV cache dans vLLM et fournit des données de référence reproductibles sur la réduction du TTFT.

  2. AWS Machine Learning Blog68

    AWS présente le transfert KV push dans vLLM pour améliorer le TTFT et le TPOT de l'inférence désagrégée

    AWS a contribué à vLLM un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique.

    Motif de la recommandation :L'article détaille le mécanisme de transfert KV push dans vLLM et fournit des données de benchmark reproductibles, utile pour évaluer l'impact sur le TTFT et le TPOT.

16 octobreven.
  1. Hugging Face Blog88

    Reflection publie Beam, un modèle MoE ouvert de 501B paramètres dédié au code et aux agents

    Le laboratoire américain Reflection publie Beam sur Hugging Face, un modèle de langage MoE de 501B paramètres (23B actifs par token) sous licence Apache 2.0.

    Motif de la recommandation :Un modèle MoE de 501B paramètres ouvert sous Apache 2.0, avec recettes d'inférence et de post-entraînement fournies, permet d'évaluer le coût réel d'un déploiement autonome.

  2. Hugging Face Blog72

    IBM publie Granite Switch 4.1, un endpoint unique pour le chat, la décision et la parole

    IBM publie les modèles Granite-Switch-4.1-8B et -30B, qui réunissent dans un seul endpoint hébergé les réponses en langage naturel.

    Motif de la recommandation :Présente la composition d'adaptateurs dans un seul endpoint et la réutilisation du KV cache, un repère pour évaluer les coûts de déploiement multi-tâches.

  3. AWS Machine Learning Blog62

    Le modèle open-weight Muse Spark Open de Meta est disponible dans Amazon SageMaker JumpStart

    Le modèle open-weight Muse Spark Open de Meta, optimisé pour le codage, est désormais disponible dans Amazon SageMaker JumpStart.

    Motif de la recommandation :Le billet détaille les deux variantes de quantification, les instances compatibles et le déploiement pas à pas, ce qui aide à évaluer le coût et la mise en service.

15 octobrejeu.
14 octobremer.
  1. Hugging Face Blog80

    Liquid AI publie LFM2.5-24B-A2B, un modèle de raisonnement MoE pour agents sur appareil

    Liquid AI publie LFM2.5-24B-A2B, un modèle de raisonnement de 24B de paramètres dont seulement 2B sont actifs par token.

    Motif de la recommandation :Liquid AI publie les poids ouverts et les benchmarks d'un modèle MoE orienté agents sur appareil, permettant de comparer le compromis taille, vitesse et usage d'outils.

13 octobremar.
12 octobrelun.
  1. Adafruit Blog70

    Les dirigeants de Micron et Samsung s'attendent à une pénurie de RAM jusqu'en 2028

    Selon Ars Technica, les dirigeants de Micron et Samsung estiment que la pénurie de mémoire durera au moins encore quelques années. Le PDG de Micron.

    Motif de la recommandation :Les dirigeants de Micron et Samsung s'expriment sur la pénurie de mémoire et ses répercussions sur les prix des PC et téléphones.

8 octobrejeu.
6 octobremar.
1 octobrejeu.
25 aoûtmar.
13 aoûtjeu.
  1. OpenAI News78

    OpenAI présente le mode Ultrafast : GPT-5.6 Sol jusqu'à 14 fois plus rapide

    OpenAI présente Ultrafast, un nouveau palier de service de l'API OpenAI qui exécute GPT-5.6 Sol jusqu'à 14 fois plus vite. Propulsé par Cerebras, il atteint jusqu'à 750 tokens de sortie par seconde.

    Motif de la recommandation :OpenAI présente un nouveau palier d'API propulsé par Cerebras, avec un débit de sortie allant jusqu'à 750 tokens par seconde, ce qui permet d'évaluer l'impact sur les scénarios à faible latence.

3 aoûtlun.
29 juilletmer.
  1. OpenAI News78

    GPT-5.6 : comment concilier intelligence de pointe et efficacité

    OpenAI présente GPT-5.6, qui améliore l'efficacité de l'IA au niveau des modèles, de l'inférence et des workflows d'agents, afin d'offrir davantage d'intelligence utile par dollar dépensé.

    Motif de la recommandation :L'original indique que GPT-5.6 améliore l'efficacité au niveau du modèle, de l'inférence et des workflows d'agents, ce qui permet de juger de l'évolution du rapport coût-performance.

24 juinmer.
  1. OpenAI News62

    OpenAI et Broadcom dévoilent la puce d'inférence LLM Jalapeño

    OpenAI et Broadcom présentent Jalapeño, une puce IA personnalisée conçue pour l'inférence LLM, afin d'améliorer les performances, l'efficacité et la mise à l'échelle des systèmes d'IA.

    Motif de la recommandation :OpenAI et Broadcom dévoilent une puce d'inférence LLM dédiée, un jalon dans l'optimisation matérielle pour les charges de travail IA.

7 maijeu.
5 marsjeu.
  1. OpenAI News88

    OpenAI lance GPT-5.4, modèle frontière pour le travail professionnel

    OpenAI lance GPT-5.4, présenté comme son modèle frontière le plus capable et le plus efficace pour le travail professionnel. Il met en avant des capacités de pointe en codage.

    Motif de la recommandation :Le résumé officiel expose les capacités de codage, d'usage informatique et de recherche d'outils ainsi que la fenêtre de contexte de 1M tokens, ce qui permet de situer les changements de ce modèle frontière.

12 févrierjeu.
  1. OpenAI News78

    OpenAI lance GPT-5.3-Codex-Spark, son premier modèle de codage en temps réel

    OpenAI annonce GPT-5.3-Codex-Spark, présenté comme son premier modèle de codage en temps réel.

    Motif de la recommandation :OpenAI dévoile son premier modèle de codage en temps réel, avec un débit annoncé 15 fois supérieur et une fenêtre de 128k, ce qui éclaire l'évolution des outils de développement assisté.

14 janviermer.