AWS Machine Learning Blog· Shantanu Tripathi·· 11 jsélectionAI Score62
Amazon SageMaker Inference prend en charge le Multi-Instance GPU pour partitionner les GPU des endpoints de modèles
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI Introduction
Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).
Raison de la recommandation
Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.
Source :AWS Machine Learning Blog · aws.amazon.com