Construire des agents efficaces par distillation de connaissances sur Amazon SageMaker AI
AWS explique comment distiller un agent de shopping utilisant un grand modèle en un modèle Qwen3.5-4B via la distillation de connaissances au niveau des séquences (SeqKD) sur Amazon SageMaker AI. Le modèle enseignant GLM-5.3 génère des trajectoires multi-étapes filtrées par le scorer de ShoppingBench, puis l'étudiant est affiné par SFT serverless et évalué sur 324 problèmes retenus. Le taux de réussite absolu moyen passe de 0,297 pour le modèle de base à 0,541 pour l'étudiant distillé, proche des 0,540 du modèle enseignant glouton et des 0,546 d'un modèle frontière de taille moyenne, au prix d'une baisse de 6 à 8 points sur IFEval.