Hugging Face Blog·· 2023-08-23sélectionAI Score62
Hugging Face intègre AutoGPTQ dans Transformers pour alléger les LLM
Making LLMs lighter with AutoGPTQ and transformers
AI Introduction
Hugging Face annonce l'intégration de la bibliothèque AutoGPTQ dans Transformers.
Raison de la recommandation
L'intégration d'AutoGPTQ dans Transformers permet de quantifier et exécuter des LLM en 4, 3 ou 2 bits avec une perte de précision négligeable et une latence proche du fp16.
Source :Hugging Face Blog · huggingface.co