Optimisation de noyaux MoE sur SageMaker AI
Pour commencer
AWS a publié un article détaillant des optimisations de noyaux pour les modèles Mixture-of-Experts (MoE) fusionnés sur Amazon SageMaker AI. Selon la source, ces optimisations ont produit une amélioration du débit de sortie de bout en bout de 2 à 4 % sur les grands modèles MoE sur H200. L'optimisation a été intégrée à vLLM, disponible en version 0.24.0 ou ultérieure, et l'amélioration est disponible dans le conteneur AWS Large Model Inference (LMI) v28. La source mentionne également une intégration à vLLM disponible en version 0.22.0 ou ultérieure.
AI Généré à partir des reportages · 2 hmise à jour
Chronologie des reportages
Suivez les reportages pour découvrir les différentes facettes de l'événement.
- AWS Machine Learning BlogIngénierie des kernels Mixture-of-Experts sur Amazon SageMaker AI
AWS détaille des optimisations de kernels pour les modèles Mixture-of-Experts (MoE) sur Amazon SageMaker AI.
Évolution des tendances de cet événement
Pas encore assez de données d'observation continues pour tracer une tendance.