Aller au contenu
  1. AWS Machine Learning Blog62

    Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

    Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

    Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

  1. The Decoder78

    Google DeepMind lance l'API Gemini Decisions et le modèle Gemini Decision 1

    Google DeepMind lance l'API Gemini Decisions, destinée aux décisions fermées comme les questions oui/non.

    Motif de la recommandation :L'original détaille les capacités de décision en un seul passage, la latence et le tarif de l'API, ce qui permet de comparer avec les offres similaires récentes.

  2. Adafruit Blog73

    Google open source XSE, un moteur de serving C++ pour l'inférence XLA

    Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.

    Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.

  1. The Verge · AI76

    Anthropic lance les modèles Claude Fable 5.2 et Claude Mythos 5.2

    Anthropic annonce Claude Fable 5.2 et Claude Mythos 5.2, présentés comme plus rapides que les versions 5.1 et meilleurs en codage.

    Motif de la recommandation :Anthropic détaille les capacités de Claude Fable 5.2 et Mythos 5.2, avec un accès restreint pour Mythos, ce qui permet de situer les usages visés.

  1. Adafruit Blog65

    Qwenputer place un CPU RISC-V dans les poids de Qwen3.5-4B

    divagr1925 présente Qwenputer, une construction qui place un CPU RISC-V complet dans les poids de Qwen3.5-4B.

    Motif de la recommandation :Le projet montre comment les couches Gated DeltaNet de Qwen3.5-4B servent de mémoire adressable, avec des scores comparés sur DeepMind math et NUPA.

  1. Hackster.io58

    Des chercheurs de la Florida International University détectent les drones par leurs champs magnétiques avec un réseau de neurones

    Des chercheurs de la Florida International University ont mis au point un système passif qui détecte et identifie les drones à partir des champs magnétiques très basse fréquence émis par leurs moteurs brushless DC. Une antenne cadre circulaire sensible, associée à une électronique analogique à faible bruit, capte ces signaux, qui sont ensuite traités par estimation de la fonction de corrélation spectrale (SCF) puis classés par un réseau de neurones convolutif basé sur VGG16. Lors de tests en extérieur avec trois micro-drones commerciaux jusqu'à 15 mètres, la détection a atteint 98,52 % de précision et l'identification du type de drone, ou de son absence, 83,5 % ; le plus petit drone, aux émissions plus faibles, s'est révélé plus difficile à identifier. Le prototype, dont le coût de développement se limite à quelques centaines de dollars, ne remplace pas le radar mais peut servir de couche de détection passive complémentaire.

    Motif de la recommandation :Le prototype passif à faible coût et les chiffres de précision par distance permettent d'évaluer sa place comme couche complémentaire aux radars.

  2. BleepingComputer85

    OpenAI lance GPT-6.1 Terra, agents 3 fois plus rapides et tarifs réduits de 50 %

    OpenAI lance GPT-6.1 Terra, un modèle axé sur l'usage de l'ordinateur, le raisonnement visuel.

    Motif de la recommandation :L'original détaille les écarts de prix, de vitesse et de taux d'erreur par rapport à GPT-5.6 Terra, ce qui permet de situer le nouveau modèle dans la gamme existante.

  1. Tom's Hardware 3D80

    Les TPU de Google exécutent des charges IA dans les centres de données de Meta

    Les TPU de Google traitent désormais des charges IA en production chez Meta via une version native PyTorch du moteur d'inférence SGLang.

    Motif de la recommandation :Le passage de TPU à une pile native PyTorch et son usage en production chez Meta offrent un point de comparaison concret face à l'écosystème Nvidia.

  2. Hugging Face Blog60

    VocabX : spécialiser le vocabulaire des petits modèles réduit le coût d'inférence de 77 %

    Dharma-AI présente VocabX, une méthode qui reconstruit le vocabulaire d'un modèle spécialisé selon le coût de chaque token plutôt que sa fréquence.

    Motif de la recommandation :L'article détaille le critère de sélection du vocabulaire pondéré par le coût et les résultats mesurés sur un correcteur de copies en production, utile pour évaluer les leviers de coût d'inférence des petits modèles spécialisés.

  1. Latent Space78

    DeepSeek ouvre le code source de DeepInfer, son moteur d'inférence de production

    DeepSeek a mis en open source DeepInfer, le moteur d'inférence derrière V4.1 Flash.

    Motif de la recommandation :L'article détaille l'architecture de service de DeepInfer et les chiffres de production, permettant de comparer les compromis entre cache KV, routage et décodage spéculatif.

  1. AWS Machine Learning Blog62

    AWS explique comment le transfert bidirectionnel de KV cache dans vLLM améliore le TTFT des charges agentiques multi-tours

    AWS présente le transfert bidirectionnel de KV cache dans vLLM, qui permet au nœud prefill de réutiliser le KV conservé par le nœud decode lors des tours suivants.

    Motif de la recommandation :L'article détaille l'architecture du transfert bidirectionnel de KV cache dans vLLM et fournit des données de référence reproductibles sur la réduction du TTFT.

  2. AWS Machine Learning Blog68

    AWS présente le transfert KV push dans vLLM pour améliorer le TTFT et le TPOT de l'inférence désagrégée

    AWS a contribué à vLLM un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique.

    Motif de la recommandation :L'article détaille le mécanisme de transfert KV push dans vLLM et fournit des données de benchmark reproductibles, utile pour évaluer l'impact sur le TTFT et le TPOT.

  1. Hugging Face Blog88

    Reflection publie Beam, un modèle MoE ouvert de 501B paramètres dédié au code et aux agents

    Le laboratoire américain Reflection publie Beam sur Hugging Face, un modèle de langage MoE de 501B paramètres (23B actifs par token) sous licence Apache 2.0.

    Motif de la recommandation :Un modèle MoE de 501B paramètres ouvert sous Apache 2.0, avec recettes d'inférence et de post-entraînement fournies, permet d'évaluer le coût réel d'un déploiement autonome.

  2. Hugging Face Blog72

    IBM publie Granite Switch 4.1, un endpoint unique pour le chat, la décision et la parole

    IBM publie les modèles Granite-Switch-4.1-8B et -30B, qui réunissent dans un seul endpoint hébergé les réponses en langage naturel.

    Motif de la recommandation :Présente la composition d'adaptateurs dans un seul endpoint et la réutilisation du KV cache, un repère pour évaluer les coûts de déploiement multi-tâches.

  3. AWS Machine Learning Blog62

    Le modèle open-weight Muse Spark Open de Meta est disponible dans Amazon SageMaker JumpStart

    Le modèle open-weight Muse Spark Open de Meta, optimisé pour le codage, est désormais disponible dans Amazon SageMaker JumpStart.

    Motif de la recommandation :Le billet détaille les deux variantes de quantification, les instances compatibles et le déploiement pas à pas, ce qui aide à évaluer le coût et la mise en service.