Hugging Face Blog·· 2023-05-24sélectionAI Score80
Hugging Face intègre la quantification 4 bits et QLoRA dans transformers
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI Introduction
Hugging Face annonce l'intégration de la quantification 4 bits via bitsandbytes dans transformers.
Raison de la recommandation
L'intégration de la quantification 4 bits et de QLoRA dans transformers permet d'entraîner des modèles 65B sur un seul GPU 48GB, avec les benchmarks T4 fournis.
Source :Hugging Face Blog · huggingface.co