Hugging Face Blog·· 2024-08-12sélectionAI Score78
Falcon Mamba : le premier modèle 7B sans attention de TII
Welcome Falcon Mamba: The first strong attention-free 7B model
AI Introduction
Le Technology Innovation Institute (TII) d'Abu Dhabi publie Falcon Mamba 7B, présenté comme le premier grand modèle 7B sans attention.
Raison de la recommandation
L'article détaille l'architecture sans attention, les benchmarks comparatifs et le support dans l'écosystème Hugging Face, utile pour évaluer les compromis des SSM.
Source :Hugging Face Blog · huggingface.co