Amazon SageMaker HyperPod Inference prend en charge NVIDIA Dynamo
Amazon SageMaker HyperPod Inference prend désormais en charge NVIDIA Dynamo.
Amazon SageMaker HyperPod Inference prend désormais en charge NVIDIA Dynamo.
Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.
Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.
Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.
ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.
Le prix au token de Claude Fable 5.2 baisse à 8 dollars en entrée et 40 en sortie.
Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.
Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.
NVIDIA publie les premiers résultats MLPerf de sa plateforme Vera Rubin.
Amazon Bedrock ajoute la prise en charge du cache de prompt explicite pour les modèles à poids ouverts.
Chirrup.ai, fondée en mars 2022 par Conrad Young, mesure la biodiversité de plus de 300 exploitations dans huit pays européens via des capteurs acoustiques intelligents qui enregistrent le chant des oiseaux pendant deux à trois semaines. Chaque capteur associe un microphone MEMS analogique à un codec audio numérique 24 bits, un processeur 240 MHz avec Bluetooth, un modem 4G LTE et un récepteur GNSS multi-constellations, les enregistrements étant convertis en spectrogrammes et analysés par des algorithmes de machine learning, dont la plateforme BirdNET, avec validation par des ornithologues. AgriSound, startup britannique fondée en 2020 par Casey Woodward, déploie de son côté le capteur solaire Polly, qui détecte les fréquences de battement d'ailes des abeilles et traite les signaux localement pour fournir des résultats rapides aux agriculteurs.
Anthropic indique que Claude Opus 5.5, désormais modèle par défaut des offres Pro.
NVIDIA NeMo Switchyard, bibliothèque open source, permet à un agent IA de choisir le modèle traitant chaque requête via son intégration LiteLLM.
AssemblyAI exécute son inférence speech-to-text à grande échelle sur Amazon ECS en mixant instances Amazon EC2 Spot et On-Demand sur plusieurs familles de GPU NVIDIA (g4dn.
Amazon annonce la disponibilité publique de SGLang-Neuron, accessible via un conteneur AWS Deep Learning.
L'article d'AWS détaille comment la durée du cache de prompt, le niveau de service.
Google a publié Gemini 4 Hydrogen, un modèle généraliste rapide et bon marché destiné aux développeurs et au grand public. Selon Google.
Même actualité, affichée dans la sélection« Google DeepMind lance Gemini 4 Hydrogen »
Warhammer 40,000: Dawn of War IV, développé par KING Art Games et édité par Deep Silver.
TypeSafe AI, dirigé par Diogo Almeida, créateur de Jev, promeut l'intégration des modèles System One — non génératifs.
AWS consacre plus de 140 sessions à la track AI/ML de re:Invent 2026, qui se tient du 30 novembre au 4 décembre. Le programme couvre la pile IA complète.
Google DeepMind lance l'API Gemini Decisions, destinée aux décisions fermées comme les questions oui/non.
Motif de la recommandation :L'original détaille les capacités de décision en un seul passage, la latence et le tarif de l'API, ce qui permet de comparer avec les offres similaires récentes.
Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.
Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.
Amazon SageMaker AI introduit la facturation à l'usage pour l'inférence en streaming bidirectionnel.
Anthropic a lancé hier sa tournée de roadshow pour son IPO, et sa vidéo contient des informations inédites sur son fonctionnement.
Kirt McMaster, cofondateur de Cyanogen, a dévoilé Kora, un OS desktop Linux doté d'un moteur d'inférence hybride propriétaire.
AMD a présenté MEXT, une technologie qui déporte les pages mémoire froides vers le stockage flash et utilise un modèle de langage basé sur Transformer pour prédire les pages à recharger.
Moonshot AI a mis à disposition Kimi K3.1 Pro Highspeed sur Amazon Bedrock. Il s'agit d'une version post-entraînée de Kimi K3.
Latent Space a testé Naive-N0.5-Flash, un modèle open-weights de NaiveAI dérivé de MiMo-V2.5 de Xiaomi et destiné au codage.
Ring, filiale d'Amazon, annonce la création de Ring Robotics et deux appareils. Ring Drone Cam est un drone de sécurité intérieure qui filme en 2K.
AWS publie un modèle CloudFormation pour centraliser les journaux d'invocation d'Amazon Bedrock de plusieurs comptes dans un data lake interrogeable via Athena. Le pipeline capture par appel le prompt, la réponse, les compteurs de tokens d'entrée et de sortie, le modèle utilisé, la raison d'arrêt, le compte, l'horodatage et le rôle IAM, puis convertit les logs en Parquet via Amazon Data Firehose. Les modèles CloudFormation, le code Lambda et les requêtes SQL sont disponibles dans le dépôt GitHub AWS Sample Bedrock Invocation Data Lake.
Meta AI a lancé Muse Ember, présenté comme son modèle le plus petit et le plus efficace.
Meta a lancé Muse Ember, son plus petit modèle d'IA à ce jour, conçu pour les tâches routinières des agents comme l'appel d'outils.
Anthropic annonce Claude Fable 5.2 et Claude Mythos 5.2, présentés comme plus rapides que les versions 5.1 et meilleurs en codage.
Même actualité, affichée dans la sélection« Claude Fable 5.2 et Claude Mythos 5.2 disponibles sur Amazon Bedrock »
NVIDIA publie des recettes de déploiement optimisées pour Dynamo destinées aux principaux modèles ouverts coréens.
Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).
Motif de la recommandation :Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.
Selon The Information, Nvidia discuterait avec Brightspeed pour transformer environ 130 bâtiments télécoms en petits centres de données.
L'économiste Willy Shih, professeur à Harvard Business School, publie « Where Does My Stuff Come From?
Hogwarts Legacy bénéficie dès aujourd'hui d'une mise à niveau NVIDIA DLSS 5 avec 3D-Guided Neural Rendering sur GeForce NOW.
Fal, startup de San Francisco qui héberge et exécute des modèles IA de vidéo, d'image et d'audio.
Amazon Bedrock prend désormais en charge l'inférence en Inde pour Kimi K3, le modèle multimodal open-weight de Moonshot AI.
Cartesia, partenaire AWS spécialisé dans la voix en temps réel.
Le numéro de novembre/décembre 2026 de l'ESD eBook d'Embedded se concentre sur l'edge AI.