Aller au contenu
AWS Machine Learning Blog· Kevin Shabahang·· 28 jAI Score58

i14 Laplace 3B : entraînement et inférence d'un modèle à attention linéaire sur AWS Trainium2 avec PyTorch natif

Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch

AI Introduction

i14 a entraîné et servi Laplace 3B, un modèle à attention linéaire GLA, sur une instance trn2.48xlarge d'AWS Trainium2 via TorchNeuron Native.

Source :AWS Machine Learning Blog · aws.amazon.com