Amazon et Google font tourner du code PyTorch écrit pour Nvidia sur leurs puces
Code PyTorch écrit pour Nvidia : ce qu'Amazon et Google font tourner sur leurs puces
Amazon et Google affirment qu'un modèle PyTorch écrit pour les GPU Nvidia peut désormais tourner sur Trainium et TPU avec un changement de configuration ou des modifications de code minimales. Chez Deepgram, seul client à avoir détaillé un portage, le modèle de transcription Nova-3 a exécuté toutes ses opérations sur Trainium2 après compilation avec TorchNeuron, au terme de plusieurs mois de travail incluant une convolution écrite de zéro en NKI et un moteur de service en Rust. Aucun document des deux groupes ne prévoit d'exécuter les noyaux maison écrits en CUDA ou en Triton, qui restent à reprendre dans le langage de chaque puce, et aucune mesure indépendante n'est disponible.
Source :ActuIA (fr) · actuia.com