Aller au contenu
Aujourd'hui18 novembremer.7 entrées
  1. AWS Machine Learning Blog58

    Réduire les coûts de tokens et la latence des charges JSON dans Amazon Bedrock AgentCore

    L'équipe Flightscape AI Labs détaille trois stratégies pour réduire la consommation de tokens et la latence d'un agent LangGraph traitant des JSON de plus de 20 Mo sur Amazon Bedrock AgentCore. La première déporte les gros artefacts vers Amazon S3 et ne persiste que des références dans AgentCore memory, la deuxième pagine à la demande les grandes listes de résultats via un handle, la troisième compacte les dictionnaires surdimensionnés en descripteurs structurels. Sur une conversation de 5 questions, les tokens passent d'environ 289 500 à 82 900 (-71 %) et la latence moyenne de 15,4 s à 3,1 s (-80 %).

  2. AWS Machine Learning Blog42

    Réduire les coûts de l'IA générative : coder les règles, réserver les modèles au jugement

    Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.

  3. AWS Machine Learning Blog58

    Construire des agents IA WhatsApp avec Amazon Bedrock AgentCore et SMART

    AWS présente SMART, un SDK Python open source et une stack Terraform qui fournit la couche de canal WhatsApp pour un agent tournant sur Amazon Bedrock AgentCore. L'outil prend en charge la vérification des signatures de webhook, la normalisation des messages, le traitement des médias dont la transcription des notes vocales via Amazon Transcribe, la mémoire de conversation AgentCore liée au numéro de téléphone, la limitation de débit à 20 messages par minute par défaut, la planification via Amazon EventBridge Scheduler et la synchronisation des templates Meta soumis à la fenêtre de 24 heures. Un seul socialagent deploy provisionne le runtime et la mémoire AgentCore, les fonctions Lambda webhook, notification, event et scheduler, les topics Amazon SNS, les buckets Amazon S3, les tableaux de bord Amazon CloudWatch et une guardrail Amazon Bedrock par défaut. L'article indique que Webmotors a ramené un projet initialement prévu sur deux mois à six semaines.

  4. AWS Machine Learning Blog48

    ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock

    ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.

17 novembremar.
  1. AWS Machine Learning Blog47

    Amazon Bedrock Managed Knowledge Base : personnaliser les réponses par tenant

    Amazon Bedrock Managed Knowledge Base permet désormais de personnaliser les réponses par tenant via des instructions de retrieval gérées et versionnées. Chaque instruction définit quatre champs — persona, answerFormat, retrievalGuidance et answerPolicy — appliqués à chaque requête, avec possibilité d'épingler une version pour basculer quand on le souhaite. Ces instructions ne constituent pas une frontière d'autorisation ou d'isolation des données : les filtres de métadonnées ou des knowledge bases séparées restent nécessaires pour contrôler ce que chaque tenant peut récupérer.

15 novembredim.
14 novembresam.
  1. AWS Machine Learning Blog58

    Patterns d'architecture pour accélérer le démarrage de session sur Amazon Bedrock AgentCore Runtime

    AWS détaille comment la version V2 d'Amazon Bedrock AgentCore Runtime réduit le temps de démarrage de session en exécutant l'initialisation une seule fois lors de la construction du snapshot, puis en restaurant ce snapshot à chaque nouvelle session. L'article explique comment mesurer le temps de démarrage via les métriques CloudWatch Latency et OverheadLatency, comment déplacer les imports, clients et données statiques dans l'init, et présente quatre patterns dont les build hooks et le préchauffage de session à l'ouverture de l'application par l'utilisateur. Il rappelle aussi que les valeurs dynamiques, aléatoires et les identifiants doivent rester dans le handler, car tout ce qui est créé pendant l'init est figé dans le snapshot.

13 novembreven.
  1. AWS Machine Learning Blog40

    Migrer vers Amazon Bedrock Managed Knowledge Base avec votre agent de codage

    Le guide de migration ajouté à la skill amazon-bedrock de l'Agent Toolkit for AWS permet à votre agent de codage de planifier et d'exécuter la migration vers Amazon Bedrock Managed Knowledge Base. Le service prend en charge l'ingestion, le stockage, l'indexation et la récupération, avec recherche hybride toujours active, reranker géré et parseur intégré pour fichiers multimodaux. Les quotas par défaut passent de 100 à 10 000 knowledge bases par compte et par région, et de 5 à 200 sources de données par knowledge base, avec une tarification à l'usage sur le stockage et la récupération.

12 novembrejeu.
  1. AWS Machine Learning Blog58

    Contrôle d'accès fin pour les outils Managed Knowledge Base d'Amazon Bedrock

    AWS présente une architecture où un agent partagé et une base de connaissances Managed Knowledge Base limitent chaque utilisateur aux documents qu'il est autorisé à consulter. Le principe est de ne pas laisser le LLM décider de l'identité de l'utilisateur : un request interceptor sur AgentCore Gateway injecte userContext depuis le token JWT vérifié, et la fonction ACL awareness de Managed Knowledge Base filtre les résultats selon cet identifiant. En défense secondaire, Policy in AgentCore vérifie via une politique Cedar que userContext.userId correspond au claim email du token, et une resource-based policy refuse les appels Retrieve et GetDocumentContent aux principaux autres que le rôle d'exécution de la passerelle. L'article fournit une stack AWS CDK et un script de vérification testant les scénarios d'usurpation.

  2. AWS Machine Learning Blog58

    AWS : construire des systèmes multi-agents interopérables avec A2A

    AWS présente une architecture de référence où un orchestrateur LangChain sur Amazon ECS dialogue via le protocole A2A avec un agent de conformité Strands déployé sur Amazon Bedrock AgentCore, chaque partie s'authentifiant auprès de son propre pool Amazon Cognito. L'agent SaaS rappelle l'agent de contexte de l'entreprise pour obtenir des métadonnées de comptes, sans partage de secrets ni dépendance au SDK de l'autre partie. Le déploiement s'effectue via trois notebooks Jupyter sur deux comptes AWS, avec un test de bout en bout et sept vérifications des frontières de confiance.

  3. Hugging Face Blog62

    Guide de fine-tuning LoRA pour TRELLIS.2 : scripts et conteneurs pour la génération 3D

    Le blog Hugging Face fournit des scripts et conteneurs Docker pour fine-tuner TRELLIS.2 avec LoRA sur ses propres assets 3D.

    Motif de la recommandation :Le guide détaille quels composants de TRELLIS.2 figer ou entraîner et fournit des scripts et conteneurs exécutables, une méthode transférable à d'autres modèles 3D.

  4. AWS Machine Learning Blog71

    Détecter et corriger la corruption silencieuse de données sur Amazon SageMaker HyperPod

    L'équipe SageMaker HyperPod d'AWS propose trois contrôles à insérer dans une boucle d'entraînement PyTorch DDP pour détecter la corruption silencieuse de données (SDC).

    Motif de la recommandation :L'article détaille trois contrôles intégrés à la boucle DDP, avec code, coût mesuré et procédure de remplacement de nœud sur HyperPod.