AWS Machine Learning Blog· Dmitry Soldatkin·· 4 hsélectionAI Score62
Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI Introduction
Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.
Raison de la recommandation
L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.
Source :AWS Machine Learning Blog · aws.amazon.com