AWS Machine Learning Blog· Jyothirmai Kottu·· 3 hAI Score38
Déployer des modèles de décision avec llama.cpp sur Amazon SageMaker AI
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI Introduction
AWS publie un DLC llama.cpp permettant de servir des modèles quantifiés sur SageMaker AI.
Source :AWS Machine Learning Blog · aws.amazon.com