Aller au contenu
Aujourd'hui18 novembremer.4 entrées
  1. AWS Machine Learning Blog62

    Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

    Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

    Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

  2. AWS Machine Learning Blog42

    Réduire les coûts de l'IA générative : coder les règles, réserver les modèles au jugement

    Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.

  3. AWS Machine Learning Blog48

    ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock

    ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.

17 novembremar.
  1. Hugging Face Blog62

    Hugging Face et OpenRouter s'associent pour faciliter l'exécution des modèles open-weight

    Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.

    Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.

  2. NVIDIA Blog58

    Lambda déploie des commutateurs NVIDIA Photonics à optique co-packagée pour connecter plus de 10 000 GPU

    Lambda utilise les commutateurs à optique co-packagée (CPO) de NVIDIA Photonics pour relier des racks NVIDIA GB300 NVL72 totalisant plus de 10 000 GPU dans une AI factory à grande échelle. Selon les tests de l'entreprise, la latence réseau baisse d'environ 4 % à l'échelle du rack et jusqu'à environ 10 % à l'échelle du pod, avec un débit identique à celui des optiques pluggables classiques. NVIDIA annonce jusqu'à 5x une meilleure efficacité énergétique et jusqu'à 15x une fiabilité supérieure, avec 4x moins de lasers ; chaque commutateur de 144 ports à 800Gb/s dispose de 18 sources lumineuses externes remplaçables, et la température médiane des optiques atteint 36°C contre 51°C pour les optiques pluggables.

16 novembrelun.
14 novembresam.
13 novembreven.
  1. Adafruit Blog60

    AMD dévoile Verano, premier pas vers un superchip basé sur Zen pour concurrencer Nvidia

    AMD a présenté Verano, un processeur de classe Epyc conçu pour alimenter sa prochaine génération de GPU Instinct et répondre aux superchips Vera Rubin de Nvidia. Il existe en deux versions.

    Motif de la recommandation :Le détail des configurations de cœurs, de la mémoire LPDDR5X et du débit xGMI permet de situer la position de Verano face aux superchips d'Nvidia.

12 novembrejeu.
  1. Adafruit Blog58

    Une télévision peut voir à travers les murs

    Un billet publié sur maurycyz.com montre qu'un récepteur radio ordinaire peut détecter un déplacement à travers une cloison en utilisant seulement un signal de télévision diffusé et un affichage waterfall. Le point de départ est un spectrogramme d'une station TV locale : le déplacement d'une personne entre la station et l'antenne ne modifie que légèrement le signal, mais déplacer l'antenne de quelques centimètres change la donne, car le signal direct est annulé par une forte réflexion, un phénomène appelé évanouissement sélectif. La phase de la réflexion dépend de la fréquence, l'annulation n'est donc pas uniforme sur tout le signal et le récepteur devient très sensible au mouvement proche. Se lever d'une chaise ou marcher dans la pièce voisine apparaît clairement sous forme de rayures dans le waterfall, avec un trou chaque fois que la longueur du trajet réfléchi varie d'une longueur d'onde. Avec des rayures espacées d'environ 70 pixels et un taux de rafraîchissement du waterfall de 150 Hz, la vitesse de marche peut être calculée directement, le trajet étant perpendiculaire au signal. D'autres signaux large bande comme WiFi et LTE portent la même information, mais leurs waterfalls sont plus brouillés.

    Motif de la recommandation :Le billet montre comment un simple récepteur TV et un waterfall permettent de détecter un déplacement à travers une cloison, avec le calcul de vitesse associé.

  2. Adafruit Blog73

    Google open source XSE, un moteur de serving C++ pour l'inférence XLA

    Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.

    Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.

11 novembremer.
  1. AWS Machine Learning Blog40

    Amazon Bedrock : construire un data lake d'observabilité des invocations

    AWS publie un modèle CloudFormation pour centraliser les journaux d'invocation d'Amazon Bedrock de plusieurs comptes dans un data lake interrogeable via Athena. Le pipeline capture par appel le prompt, la réponse, les compteurs de tokens d'entrée et de sortie, le modèle utilisé, la raison d'arrêt, le compte, l'horodatage et le rôle IAM, puis convertit les logs en Parquet via Amazon Data Firehose. Les modèles CloudFormation, le code Lambda et les requêtes SQL sont disponibles dans le dépôt GitHub AWS Sample Bedrock Invocation Data Lake.

9 novembrelun.
7 novembresam.
  1. AWS Machine Learning Blog62

    Amazon SageMaker Inference prend en charge le Multi-Instance GPU pour partitionner les GPU des endpoints de modèles

    Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).

    Motif de la recommandation :Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.

6 novembreven.
  1. NVIDIA Blog62

    NVIDIA Vera : débit et vitesse d'agents supérieurs aux CPU x86 selon les tests internes

    NVIDIA présente son CPU Vera comme offrant à la fois la vitesse d'agents la plus élevée et une meilleure capacité par watt que les CPU x86. Dans une comparaison sur un centre de données de 100 mégawatts, Vera permet 1,6 fois plus d'agents par watt que le CPU x86 le plus rapide et offre une vitesse d'agents 2 fois supérieure à celle du CPU x86 le plus économe en énergie. Plusieurs partenaires rapportent des gains en production, dont Perplexity avec des tâches de codage agentique 1,5 fois plus rapides et DeepInfra avec un orchestration agentique jusqu'à 2,2 fois plus rapide que le meilleur processeur x86.

    Motif de la recommandation :Les chiffres comparatifs de Vera face aux CPU x86 et les tests de partenaires permettent de situer le choix d'infrastructure pour les charges d'agents.

5 novembrejeu.
4 novembremer.
3 novembremar.
30 octobreven.
28 octobremer.
26 octobrelun.
  1. Adafruit Blog65

    Faire tourner Arch Linux ARM sur un portable RTX Spark faute de compte Microsoft

    Josephine Pfeiffer, mainteneuse de paquets Arch Linux, a réussi à faire tourner Arch Linux ARM sur un ASUS ProArt P16 H7607BA-SE033W en configuration 128 Go avec 6 144 cœurs CUDA.

    Motif de la recommandation :Le récit détaille les correctifs ACPI, HID et audio nécessaires pour faire tourner Arch Linux ARM sur un portable RTX, avec des mesures concrètes sous vLLM.

23 octobreven.
  1. CISA Advisories62

    CISA signale des vulnérabilités dans le serveur web des automates Siemens SIMATIC S7

    La CISA publie un avis sur plusieurs vulnérabilités du serveur web des automates Siemens SIMATIC S7-1500 et produits associés.

    Motif de la recommandation :L'avis CISA détaille les produits Siemens touchés et les mesures d'atténuation, utile pour les équipes qui exploitent des automates S7-1500.

  2. AWS Machine Learning Blog58

    Comment diffuser de la voix à faible latence depuis des agents IA avec Kokoro TTS sur Amazon SageMaker AI

    AWS explique comment réduire la latence vocale d'un agent IA en envoyant chaque phrase au modèle TTS Kokoro-82M hébergé sur un point de terminaison bidirectionnel Amazon SageMaker AI dès sa génération, plutôt qu'après la réponse complète. Le tutoriel couvre la gestion des trames WebSocket binaires, le maintien de la session entre messages, le découpage incrémental des phrases et le choix entre audio base64 dans des événements SSE et multiplexage binaire et JSON. En isolant le transport TTS, l'envoi de la seule première phrase fait passer le délai moyen jusqu'au premier octet audio de 329,3 ms à 156,7 ms, et le mode bidi est 2,4 à 3,5 fois plus rapide que le mode batch sur un agent déployé.