Aller au contenu
AWS Machine Learning Blog· Dmitry Soldatkin·· 4 hsélectionAI Score62

Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AI Introduction

Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

Raison de la recommandation

L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

Source :AWS Machine Learning Blog · aws.amazon.com