Aller au contenu
Aujourd'hui18 novembremer.17 entrées
  1. AWS Machine Learning Blog58

    Réduire les coûts de tokens et la latence des charges JSON dans Amazon Bedrock AgentCore

    L'équipe Flightscape AI Labs détaille trois stratégies pour réduire la consommation de tokens et la latence d'un agent LangGraph traitant des JSON de plus de 20 Mo sur Amazon Bedrock AgentCore. La première déporte les gros artefacts vers Amazon S3 et ne persiste que des références dans AgentCore memory, la deuxième pagine à la demande les grandes listes de résultats via un handle, la troisième compacte les dictionnaires surdimensionnés en descripteurs structurels. Sur une conversation de 5 questions, les tokens passent d'environ 289 500 à 82 900 (-71 %) et la latence moyenne de 15,4 s à 3,1 s (-80 %).

  2. AWS Machine Learning Blog62

    Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

    Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

    Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

  3. AWS Machine Learning Blog42

    Réduire les coûts de l'IA générative : coder les règles, réserver les modèles au jugement

    Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.

  4. AWS Machine Learning Blog58

    Construire des agents IA WhatsApp avec Amazon Bedrock AgentCore et SMART

    AWS présente SMART, un SDK Python open source et une stack Terraform qui fournit la couche de canal WhatsApp pour un agent tournant sur Amazon Bedrock AgentCore. L'outil prend en charge la vérification des signatures de webhook, la normalisation des messages, le traitement des médias dont la transcription des notes vocales via Amazon Transcribe, la mémoire de conversation AgentCore liée au numéro de téléphone, la limitation de débit à 20 messages par minute par défaut, la planification via Amazon EventBridge Scheduler et la synchronisation des templates Meta soumis à la fenêtre de 24 heures. Un seul socialagent deploy provisionne le runtime et la mémoire AgentCore, les fonctions Lambda webhook, notification, event et scheduler, les topics Amazon SNS, les buckets Amazon S3, les tableaux de bord Amazon CloudWatch et une guardrail Amazon Bedrock par défaut. L'article indique que Webmotors a ramené un projet initialement prévu sur deux mois à six semaines.

  5. The Decoder60

    Les États-Unis veulent restreindre l'accès à distance aux puces IA, Reuters documente la distillation chinoise

    Le Bureau of Industry and Security du département du Commerce américain propose une règle intérimaire soumettant à licence l'achat de puces IA avancées par des opérateurs de centres de données à Singapour, en Malaisie, en Thaïlande, en Indonésie et au Brésil, avec examen au cas par cas et exemption pour les filiales de sociétés américaines. L'action Nvidia a reculé jusqu'à 2,9 % et l'indice Philadelphia Semiconductor jusqu'à 5,5 % après l'annonce. En parallèle, une enquête de Reuters fondée sur plus de 300 documents chinois décrit une filière industrielle de distillation, où des entreprises chinoises extraient réponses et code de modèles américains pour entraîner des modèles locaux moins coûteux, une pratique encouragée par des directives publiques sur l'IA dans l'industrie.

  6. NVIDIA Blog62

    NVIDIA dévoile au SC26 Nemotron for Science, le GPU Rubin HPC et une collaboration quantique avec IBM

    Lors de son discours d'ouverture du SC26 à Chicago, Ian Buck, vice-président hyperscale et HPC de NVIDIA.

    Motif de la recommandation :Le discours de NVIDIA au SC26 rassemble en un seul endroit les outils d'agents scientifiques, le GPU Rubin HPC et la correction d'erreurs quantique, ce qui permet de saisir le calendrier de livraison et les orientations techniques.

17 novembremar.
  1. Latent Space62

    Perplexity atteint un chiffre d'affaires annualisé de 1 milliard de dollars, multiplié par 4 en 2026

    Le PDG Aravind Srinivas a déclaré lors d'un événement en direct que Perplexity a franchi un chiffre d'affaires annualisé de 1 milliard de dollars. The Information rapportait moins de 250 millions en début d'année et plus de 750 millions en août, la croissance étant en partie portée par Computer. Le texte cite aussi les lancements récents de Perplexity, dont Computer, les Automations de septembre, les Teammates de novembre, le Monitor API et un nouveau laboratoire de recherche disposant de plus de 10 000 GPU.

  2. ActuIA (fr)68

    Anthropic : 900 milliards de dollars pour combien de mois d'avance ?

    L'article examine si les 900,9 milliards de dollars d'engagements de calcul et d'infrastructure inscrits au prospectus d'Anthropic achètent une avance durable face aux modèles à poids ouverts. Les meilleurs modèles ouverts atteignent le niveau des fermés avec quatre mois de retard en moyenne selon Epoch AI, et l'écart sur l'indice d'Artificial Analysis est de 19 points entre Claude Fable 5.2 (65 points) et Kimi K3.1 Pro (46 points). Le prospectus prévoit 70,7 milliards à payer dans les douze mois suivant le 30 septembre 2026, pour 35,3 milliards de revenus sur douze mois, et Anthropic doit fixer le prix de son introduction en Bourse le 18 novembre.

  3. Hugging Face Blog62

    Hugging Face et OpenRouter s'associent pour faciliter l'exécution des modèles open-weight

    Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.

    Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.

  4. The Decoder82

    Alibaba lance Qwen4-Max, un modèle MoE de 2,4 billions de paramètres face à Opus 5.5 et GPT-6

    Alibaba a lancé Qwen4-Max, un modèle à mélange d'experts de 2,4 billions de paramètres qui n'active que 71 milliards de paramètres par token.

    Motif de la recommandation :L'original détaille l'architecture hybride, les activations MoE et les coûts par tâche de Qwen4-Max, ce qui permet de comparer ses compromis avec Opus 5.5 et Kimi K3.1 Pro.

  5. AWS Machine Learning Blog47

    Amazon Bedrock Managed Knowledge Base : personnaliser les réponses par tenant

    Amazon Bedrock Managed Knowledge Base permet désormais de personnaliser les réponses par tenant via des instructions de retrieval gérées et versionnées. Chaque instruction définit quatre champs — persona, answerFormat, retrievalGuidance et answerPolicy — appliqués à chaque requête, avec possibilité d'épingler une version pour basculer quand on le souhaite. Ces instructions ne constituent pas une frontière d'autorisation ou d'isolation des données : les filtres de métadonnées ou des knowledge bases séparées restent nécessaires pour contrôler ce que chaque tenant peut récupérer.

16 novembrelun.