Hugging Face intègre la quantification 4 bits et QLoRA dans transformers
Hugging Face annonce l'intégration de la quantification 4 bits via bitsandbytes dans transformers.
Motif de la recommandation :L'intégration de la quantification 4 bits et de QLoRA dans transformers permet d'entraîner des modèles 65B sur un seul GPU 48GB, avec les benchmarks T4 fournis.