Hugging Face Blog·· 9 jAI Score48
HOPE : élagage du second ordre des experts dans les modèles MoE
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI Introduction
HOPE (Higher-Order Pruning of Experts) est une méthode d'élagage du second ordre qui prend en compte les interactions par paires entre experts des modèles MoE.
Source :Hugging Face Blog · huggingface.co