Oui, les Transformers sont efficaces pour la prévision de séries temporelles (+ Autoformer)

Le modèle Autoformer, publié à NeurIPS 2021, est désormais disponible dans 🤗 Transformers. Sur les trois jeux de données du papier AAAI 2023 « Are Transformers Effective for Time Series Forecasting? », Autoformer obtient un MASE de 0.910 sur Traffic, 1.087 sur Exchange-Rate et 0.751 sur Electricity, contre respectivement 0.965, 1.690 et 0.831 pour le modèle linéaire DLinear, qui utilise pourtant la couche de décomposition d'Autoformer. Autoformer introduit une couche de décomposition et un mécanisme d'auto-corrélation remplaçant l'auto-attention classique.