Sequential Attention : rendre les modèles d'IA plus légers et plus rapides sans sacrifier la précision

Google Research présente Sequential Attention, une méthode de sélection de sous-ensembles qui intègre un mécanisme de sélection gloutonne directement dans l'entraînement du modèle pour choisir séquentiellement les composants les plus informatifs. Appliquée à la sélection de features, elle remplace la sélection gloutonne classique par les poids d'attention internes du modèle, atteignant des résultats SOTA sur plusieurs benchmarks de réseaux de neurones tout en permettant une implémentation en un seul passage. La méthode revendique une meilleure efficacité, une scalabilité sur de grands modèles et une interprétabilité accrue via les scores d'attention.