Hugging Face Blog·· 2024-01-30AI Score22
StarCoder accéléré avec Optimum Intel sur Xeon : quantification Q8/Q4 et décodage spéculatif
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AI Introduction
Hugging Face détaille plus de 7x d'accélération de l'inférence du modèle StarCoder-15B sur les processeurs Intel Xeon de 4e génération.
Source :Hugging Face Blog · huggingface.co