Connecteur NIXL push pour vLLM
Pour commencer
Le 2026-10-20, le blog AWS annonce une contribution à vLLM : un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique. Selon AWS, sur un déploiement 1P1D avec instances EC2 P5en reliées par EFA et le modèle Qwen3-32B, le mode push offre jusqu'à 3x un meilleur TTFT et 30 % un meilleur TPOT qu'en mode pull ; ces résultats dépendent de la charge et de la configuration. Pour l'utiliser, configurer NixlPushConnector au lieu de NixlConnector sur les serveurs prefill et decode.
AI Généré à partir des reportages · 2 hmise à jour
Chronologie des reportages
Suivez les reportages pour découvrir les différentes facettes de l'événement.
- AWS Machine Learning BlogsélectionAWS présente le transfert KV push dans vLLM pour améliorer le TTFT et le TPOT de l'inférence désagrégée
AWS a contribué à vLLM un connecteur NIXL en mode push qui déplace la coordination et la préparation du transfert KV après le prefill hors du chemin critique.
Évolution des tendances de cet événement
Pas encore assez de données d'observation continues pour tracer une tendance.