Aller au contenu
Google Research·· 21 jsélectionAI Score62

Google Research propose le cadre sleep pour l'apprentissage continu des LLM

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI Introduction

Google Research présente un cadre sleep qui alterne interaction active et consolidation hors ligne pour permettre aux LLM d'acquérir de nouvelles connaissances sans oubli catastrophique. Le modèle débloque des blocs MoE préalloués et met à jour ses poids à partir d'exemples auto-générés, avec consolidation mémoire puis phase de dreaming pour sélectionner les échantillons utiles. Les évaluations montrent une rétention de contexte jusqu'à 10M tokens sur BABILong, 48,9% en incorporation de faits sur SQuAD et 79,2% sur AIME 24.

Raison de la recommandation

Le cadre sleep expose une méthode concrète pour l'apprentissage continu des LLM, avec des résultats sur la traduction, le contexte long et le raisonnement.

Source :Google Research · research.google