Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.
Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.
Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.
Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.
Google a publié Gemini 4 Hydrogen, un modèle généraliste rapide et bon marché destiné aux développeurs et au grand public. Selon Google.
Motif de la recommandation :L'article compare les scores, les prix et les niveaux de raisonnement de Hydrogen à ceux d'Argon et de Carbon, ce qui permet de situer le nouveau modèle dans la gamme Gemini.
Google DeepMind lance l'API Gemini Decisions, destinée aux décisions fermées comme les questions oui/non.
Motif de la recommandation :L'original détaille les capacités de décision en un seul passage, la latence et le tarif de l'API, ce qui permet de comparer avec les offres similaires récentes.
Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.
Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.
Anthropic annonce Claude Fable 5.2 et Claude Mythos 5.2, présentés comme plus rapides que les versions 5.1 et meilleurs en codage.
Motif de la recommandation :Anthropic détaille les capacités de Claude Fable 5.2 et Mythos 5.2, avec un accès restreint pour Mythos, ce qui permet de situer les usages visés.
Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).
Motif de la recommandation :Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.
divagr1925 présente Qwenputer, une construction qui place un CPU RISC-V complet dans les poids de Qwen3.5-4B.
Motif de la recommandation :Le projet montre comment les couches Gated DeltaNet de Qwen3.5-4B servent de mémoire adressable, avec des scores comparés sur DeepMind math et NUPA.
Des chercheurs de la Florida International University ont mis au point un système passif qui détecte et identifie les drones à partir des champs magnétiques très basse fréquence émis par leurs moteurs brushless DC. Une antenne cadre circulaire sensible, associée à une électronique analogique à faible bruit, capte ces signaux, qui sont ensuite traités par estimation de la fonction de corrélation spectrale (SCF) puis classés par un réseau de neurones convolutif basé sur VGG16. Lors de tests en extérieur avec trois micro-drones commerciaux jusqu'à 15 mètres, la détection a atteint 98,52 % de précision et l'identification du type de drone, ou de son absence, 83,5 % ; le plus petit drone, aux émissions plus faibles, s'est révélé plus difficile à identifier. Le prototype, dont le coût de développement se limite à quelques centaines de dollars, ne remplace pas le radar mais peut servir de couche de détection passive complémentaire.
Motif de la recommandation :Le prototype passif à faible coût et les chiffres de précision par distance permettent d'évaluer sa place comme couche complémentaire aux radars.
OpenAI a publié GPT-6.1 Terra, dont le prix d'API est la moitié de celui de GPT-5.6 Terra.
Motif de la recommandation :L'original détaille les prix de l'API, les scores de benchmarks et les performances de contrôle informatique, permettant de comparer le rapport coût-performance avec les modèles concurrents.
OpenAI lance GPT-6.1 Terra, un modèle axé sur l'usage de l'ordinateur, le raisonnement visuel.
Motif de la recommandation :L'original détaille les écarts de prix, de vitesse et de taux d'erreur par rapport à GPT-5.6 Terra, ce qui permet de situer le nouveau modèle dans la gamme existante.
Les TPU de Google traitent désormais des charges IA en production chez Meta via une version native PyTorch du moteur d'inférence SGLang.
Motif de la recommandation :Le passage de TPU à une pile native PyTorch et son usage en production chez Meta offrent un point de comparaison concret face à l'écosystème Nvidia.
Dharma-AI présente VocabX, une méthode qui reconstruit le vocabulaire d'un modèle spécialisé selon le coût de chaque token plutôt que sa fréquence.
Motif de la recommandation :L'article détaille le critère de sélection du vocabulaire pondéré par le coût et les résultats mesurés sur un correcteur de copies en production, utile pour évaluer les leviers de coût d'inférence des petits modèles spécialisés.
Google Cloud et NVIDIA annoncent la disponibilité générale des instances A5X, prévue le mois prochain.
Motif de la recommandation :L'annonce détaille la configuration matérielle des instances A5X et le plan de montée en charge jusqu'à 960 000 GPU Rubin, utile pour évaluer les futurs déploiements d'agents à grande échelle.
DeepSeek a mis en open source DeepInfer, le moteur d'inférence derrière V4.1 Flash.
Motif de la recommandation :L'article détaille l'architecture de service de DeepInfer et les chiffres de production, permettant de comparer les compromis entre cache KV, routage et décodage spéculatif.
AWS présente le transfert bidirectionnel de KV cache dans vLLM, qui permet au nœud prefill de réutiliser le KV conservé par le nœud decode lors des tours suivants.
Motif de la recommandation :L'article détaille l'architecture du transfert bidirectionnel de KV cache dans vLLM et fournit des données de référence reproductibles sur la réduction du TTFT.
AWS a contribué à vLLM un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique.
Motif de la recommandation :L'article détaille le mécanisme de transfert KV push dans vLLM et fournit des données de benchmark reproductibles, utile pour évaluer l'impact sur le TTFT et le TPOT.
Le laboratoire américain Reflection publie Beam sur Hugging Face, un modèle de langage MoE de 501B paramètres (23B actifs par token) sous licence Apache 2.0.
Motif de la recommandation :Un modèle MoE de 501B paramètres ouvert sous Apache 2.0, avec recettes d'inférence et de post-entraînement fournies, permet d'évaluer le coût réel d'un déploiement autonome.
IBM publie les modèles Granite-Switch-4.1-8B et -30B, qui réunissent dans un seul endpoint hébergé les réponses en langage naturel.
Motif de la recommandation :Présente la composition d'adaptateurs dans un seul endpoint et la réutilisation du KV cache, un repère pour évaluer les coûts de déploiement multi-tâches.
Le modèle open-weight Muse Spark Open de Meta, optimisé pour le codage, est désormais disponible dans Amazon SageMaker JumpStart.
Motif de la recommandation :Le billet détaille les deux variantes de quantification, les instances compatibles et le déploiement pas à pas, ce qui aide à évaluer le coût et la mise en service.