Aller au contenu
Événement tendanceMise à jour continue

ArisGlobal优化Bedrock提示缓存

1 articles1 sources11 hmise à jour

Pour commencer

AI Synthèse

Selon un article du blog AWS Machine Learning du 17 novembre 2026, ArisGlobal a réduit le coût effectif d'inférence de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes afin de mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts par dossier de plus de 200 %. En production, 65 % des tokens d'entrée d'une requête typique proviennent du cache de prompt partagé ; le TTL par défaut est de 5 minutes et le minimum pour Claude Sonnet 4.5 est de 1 024 tokens. NavaX traite plus d'un million de transactions depuis mars 2025.

AI Généré à partir des reportages · 10 hmise à jour

Chronologie des reportages

Suivez les reportages pour découvrir les différentes facettes de l'événement.

17 novembre
  1. AWS Machine Learning Blog
    ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock

    ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.

Évolution des tendances de cet événement

Actuel (période comparable)
8
Pic (période comparable)
1018 novembre 01:00
Évolution sur 24 h
–

La tendance ne compare que les mêmes sujets observés de manière continue et complète ; la plage peut donc être plus restreinte que les statistiques de tendances actuelles. Survolez le graphique ou cliquez dessus pour afficher les tendances heure par heure ; les flèches gauche et droite du clavier permettent de naviguer.