Aller au contenu
Aujourd'hui18 novembremer.19 entrées
  1. AWS Machine Learning Blog58

    Réduire les coûts de tokens et la latence des charges JSON dans Amazon Bedrock AgentCore

    L'équipe Flightscape AI Labs détaille trois stratégies pour réduire la consommation de tokens et la latence d'un agent LangGraph traitant des JSON de plus de 20 Mo sur Amazon Bedrock AgentCore. La première déporte les gros artefacts vers Amazon S3 et ne persiste que des références dans AgentCore memory, la deuxième pagine à la demande les grandes listes de résultats via un handle, la troisième compacte les dictionnaires surdimensionnés en descripteurs structurels. Sur une conversation de 5 questions, les tokens passent d'environ 289 500 à 82 900 (-71 %) et la latence moyenne de 15,4 s à 3,1 s (-80 %).

  2. AWS Machine Learning Blog62

    Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

    Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

    Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

  3. AWS Machine Learning Blog42

    Réduire les coûts de l'IA générative : coder les règles, réserver les modèles au jugement

    Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.

  4. AWS Machine Learning Blog58

    Construire des agents IA WhatsApp avec Amazon Bedrock AgentCore et SMART

    AWS présente SMART, un SDK Python open source et une stack Terraform qui fournit la couche de canal WhatsApp pour un agent tournant sur Amazon Bedrock AgentCore. L'outil prend en charge la vérification des signatures de webhook, la normalisation des messages, le traitement des médias dont la transcription des notes vocales via Amazon Transcribe, la mémoire de conversation AgentCore liée au numéro de téléphone, la limitation de débit à 20 messages par minute par défaut, la planification via Amazon EventBridge Scheduler et la synchronisation des templates Meta soumis à la fenêtre de 24 heures. Un seul socialagent deploy provisionne le runtime et la mémoire AgentCore, les fonctions Lambda webhook, notification, event et scheduler, les topics Amazon SNS, les buckets Amazon S3, les tableaux de bord Amazon CloudWatch et une guardrail Amazon Bedrock par défaut. L'article indique que Webmotors a ramené un projet initialement prévu sur deux mois à six semaines.

  5. NVIDIA Blog62

    NVIDIA dévoile au SC26 Nemotron for Science, le GPU Rubin HPC et une collaboration quantique avec IBM

    Lors de son discours d'ouverture du SC26 à Chicago, Ian Buck, vice-président hyperscale et HPC de NVIDIA.

    Motif de la recommandation :Le discours de NVIDIA au SC26 rassemble en un seul endroit les outils d'agents scientifiques, le GPU Rubin HPC et la correction d'erreurs quantique, ce qui permet de saisir le calendrier de livraison et les orientations techniques.

  6. AWS Machine Learning Blog48

    ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock

    ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.

  7. Adafruit Blog58

    ApkStart permet d'exécuter des applications Android sous Windows comme des logiciels de bureau

    ApkStart, développé par RoutineMiku et publié sur GitHub, exécute des applications Android sous Windows comme des logiciels de bureau.

    Motif de la recommandation :Le projet détaille son fonctionnement autonome avec QEMU et l'émulateur Android, utile pour évaluer le déploiement d'applications Android sous Windows.

17 novembremar.
  1. Microsoft Research71

    TokenEconomizer : un plugin open source qui réduit les coûts des agents de codage en apprenant des sessions passées

    TokenEconomizer, plugin open source issu d'une collaboration entre UC Berkeley, Microsoft Research et Microsoft Security.

    Motif de la recommandation :L'article détaille trois mécanismes concrets et les résultats sur 277 tâches SWE-Bench, utile pour évaluer comment réduire les coûts des agents de codage sans modifier le modèle.

  2. NVIDIA Blog60

    NVIDIA étend Slurm pour intégrer le calcul quantique au supercalcul

    NVIDIA annonce une extension de Slurm permettant aux constructeurs de QPU de créer une interface unique vers leur matériel pour tous les centres de supercalcul.

    Motif de la recommandation :L'extension de Slurm permet aux centres de supercalcul d'intégrer un QPU via un simple fichier, sans solution dédiée par matériel.

  3. NVIDIA Blog58

    Lambda déploie des commutateurs NVIDIA Photonics à optique co-packagée pour connecter plus de 10 000 GPU

    Lambda utilise les commutateurs à optique co-packagée (CPO) de NVIDIA Photonics pour relier des racks NVIDIA GB300 NVL72 totalisant plus de 10 000 GPU dans une AI factory à grande échelle. Selon les tests de l'entreprise, la latence réseau baisse d'environ 4 % à l'échelle du rack et jusqu'à environ 10 % à l'échelle du pod, avec un débit identique à celui des optiques pluggables classiques. NVIDIA annonce jusqu'à 5x une meilleure efficacité énergétique et jusqu'à 15x une fiabilité supérieure, avec 4x moins de lasers ; chaque commutateur de 144 ports à 800Gb/s dispose de 18 sources lumineuses externes remplaçables, et la température médiane des optiques atteint 36°C contre 51°C pour les optiques pluggables.

  4. AWS Machine Learning Blog47

    Amazon Bedrock Managed Knowledge Base : personnaliser les réponses par tenant

    Amazon Bedrock Managed Knowledge Base permet désormais de personnaliser les réponses par tenant via des instructions de retrieval gérées et versionnées. Chaque instruction définit quatre champs — persona, answerFormat, retrievalGuidance et answerPolicy — appliqués à chaque requête, avec possibilité d'épingler une version pour basculer quand on le souhaite. Ces instructions ne constituent pas une frontière d'autorisation ou d'isolation des données : les filtres de métadonnées ou des knowledge bases séparées restent nécessaires pour contrôler ce que chaque tenant peut récupérer.

16 novembrelun.