Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.
Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.
Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.
Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.
AMD a présenté Verano, un processeur de classe Epyc conçu pour alimenter sa prochaine génération de GPU Instinct et répondre aux superchips Vera Rubin de Nvidia. Il existe en deux versions.
Motif de la recommandation :Le détail des configurations de cœurs, de la mémoire LPDDR5X et du débit xGMI permet de situer la position de Verano face aux superchips d'Nvidia.
Un billet publié sur maurycyz.com montre qu'un récepteur radio ordinaire peut détecter un déplacement à travers une cloison en utilisant seulement un signal de télévision diffusé et un affichage waterfall. Le point de départ est un spectrogramme d'une station TV locale : le déplacement d'une personne entre la station et l'antenne ne modifie que légèrement le signal, mais déplacer l'antenne de quelques centimètres change la donne, car le signal direct est annulé par une forte réflexion, un phénomène appelé évanouissement sélectif. La phase de la réflexion dépend de la fréquence, l'annulation n'est donc pas uniforme sur tout le signal et le récepteur devient très sensible au mouvement proche. Se lever d'une chaise ou marcher dans la pièce voisine apparaît clairement sous forme de rayures dans le waterfall, avec un trou chaque fois que la longueur du trajet réfléchi varie d'une longueur d'onde. Avec des rayures espacées d'environ 70 pixels et un taux de rafraîchissement du waterfall de 150 Hz, la vitesse de marche peut être calculée directement, le trajet étant perpendiculaire au signal. D'autres signaux large bande comme WiFi et LTE portent la même information, mais leurs waterfalls sont plus brouillés.
Motif de la recommandation :Le billet montre comment un simple récepteur TV et un waterfall permettent de détecter un déplacement à travers une cloison, avec le calcul de vitesse associé.
Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.
Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.
Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).
Motif de la recommandation :Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.
NVIDIA présente son CPU Vera comme offrant à la fois la vitesse d'agents la plus élevée et une meilleure capacité par watt que les CPU x86. Dans une comparaison sur un centre de données de 100 mégawatts, Vera permet 1,6 fois plus d'agents par watt que le CPU x86 le plus rapide et offre une vitesse d'agents 2 fois supérieure à celle du CPU x86 le plus économe en énergie. Plusieurs partenaires rapportent des gains en production, dont Perplexity avec des tâches de codage agentique 1,5 fois plus rapides et DeepInfra avec un orchestration agentique jusqu'à 2,2 fois plus rapide que le meilleur processeur x86.
Motif de la recommandation :Les chiffres comparatifs de Vera face aux CPU x86 et les tests de partenaires permettent de situer le choix d'infrastructure pour les charges d'agents.
Nordic Semiconductor lance la série nRF71, des systèmes sur puce qui combinent WiFi 6.
Motif de la recommandation :Le nRF7120E intègre un NPU Axon et le nRF7120 le WiFi 6 double bande, avec une consommation en veille divisée par 20 par rapport au nRF70, ce qui éclaire les compromis des conceptions WiFi sur batterie.
Le projet doomformer d'alp (@mottopanikeiku) compile un réseau de neurones à nombres entiers dans une carte DOOM.
Motif de la recommandation :Le projet montre comment une carte DOOM sert de support de calcul à un réseau de neurones entier, avec une comparaison chiffrée à NumPy.
divagr1925 présente Qwenputer, une construction qui place un CPU RISC-V complet dans les poids de Qwen3.5-4B.
Motif de la recommandation :Le projet montre comment les couches Gated DeltaNet de Qwen3.5-4B servent de mémoire adressable, avec des scores comparés sur DeepMind math et NUPA.
Josephine Pfeiffer, mainteneuse de paquets Arch Linux, a réussi à faire tourner Arch Linux ARM sur un ASUS ProArt P16 H7607BA-SE033W en configuration 128 Go avec 6 144 cœurs CUDA.
Motif de la recommandation :Le récit détaille les correctifs ACPI, HID et audio nécessaires pour faire tourner Arch Linux ARM sur un portable RTX, avec des mesures concrètes sous vLLM.
La CISA publie un avis sur plusieurs vulnérabilités du serveur web des automates Siemens SIMATIC S7-1500 et produits associés.
Motif de la recommandation :L'avis CISA détaille les produits Siemens touchés et les mesures d'atténuation, utile pour les équipes qui exploitent des automates S7-1500.
Dharma-AI présente VocabX, une méthode qui reconstruit le vocabulaire d'un modèle spécialisé selon le coût de chaque token plutôt que sa fréquence.
Motif de la recommandation :L'article détaille le critère de sélection du vocabulaire pondéré par le coût et les résultats mesurés sur un correcteur de copies en production, utile pour évaluer les leviers de coût d'inférence des petits modèles spécialisés.
Google Cloud et NVIDIA annoncent la disponibilité générale des instances A5X, prévue le mois prochain.
Motif de la recommandation :L'annonce détaille la configuration matérielle des instances A5X et le plan de montée en charge jusqu'à 960 000 GPU Rubin, utile pour évaluer les futurs déploiements d'agents à grande échelle.
La CISA publie l'avis ICSA-26-293-02 sur une faille d'autorisation dans le modèle de gestion web (WBM) du firmware WAGO.
Motif de la recommandation :L'avis détaille une vulnérabilité d'autorisation dans le firmware WAGO et la version corrective, utile pour évaluer l'exposition des automates concernés.
AWS présente le transfert bidirectionnel de KV cache dans vLLM, qui permet au nœud prefill de réutiliser le KV conservé par le nœud decode lors des tours suivants.
Motif de la recommandation :L'article détaille l'architecture du transfert bidirectionnel de KV cache dans vLLM et fournit des données de référence reproductibles sur la réduction du TTFT.
AWS a contribué à vLLM un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique.
Motif de la recommandation :L'article détaille le mécanisme de transfert KV push dans vLLM et fournit des données de benchmark reproductibles, utile pour évaluer l'impact sur le TTFT et le TPOT.
Le laboratoire américain Reflection publie Beam sur Hugging Face, un modèle de langage MoE de 501B paramètres (23B actifs par token) sous licence Apache 2.0.
Motif de la recommandation :Un modèle MoE de 501B paramètres ouvert sous Apache 2.0, avec recettes d'inférence et de post-entraînement fournies, permet d'évaluer le coût réel d'un déploiement autonome.