Aller au contenu
AWS Machine Learning Blog· Shantanu Tripathi·· 11 jsélectionAI Score62

Amazon SageMaker Inference prend en charge le Multi-Instance GPU pour partitionner les GPU des endpoints de modèles

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI Introduction

Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).

Raison de la recommandation

Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.

Source :AWS Machine Learning Blog · aws.amazon.com