Aller au contenu
Hugging Face Blog·· 9 jAI Score48

HOPE : élagage du second ordre des experts dans les modèles MoE

Your Experts Have Partners. There's HOPE for Keeping Them Together

AI Introduction

HOPE (Higher-Order Pruning of Experts) est une méthode d'élagage du second ordre qui prend en compte les interactions par paires entre experts des modèles MoE.

Source :Hugging Face Blog · huggingface.co