Comment diffuser de la voix à faible latence depuis des agents IA avec Kokoro TTS sur Amazon SageMaker AI

AWS explique comment réduire la latence vocale d'un agent IA en envoyant chaque phrase au modèle TTS Kokoro-82M hébergé sur un point de terminaison bidirectionnel Amazon SageMaker AI dès sa génération, plutôt qu'après la réponse complète. Le tutoriel couvre la gestion des trames WebSocket binaires, le maintien de la session entre messages, le découpage incrémental des phrases et le choix entre audio base64 dans des événements SSE et multiplexage binaire et JSON. En isolant le transport TTS, l'envoi de la seule première phrase fait passer le délai moyen jusqu'au premier octet audio de 329,3 ms à 156,7 ms, et le mode bidi est 2,4 à 3,5 fois plus rapide que le mode batch sur un agent déployé.