Réduire les coûts de tokens et la latence des charges JSON dans Amazon Bedrock AgentCore
L'équipe Flightscape AI Labs détaille trois stratégies pour réduire la consommation de tokens et la latence d'un agent LangGraph traitant des JSON de plus de 20 Mo sur Amazon Bedrock AgentCore. La première déporte les gros artefacts vers Amazon S3 et ne persiste que des références dans AgentCore memory, la deuxième pagine à la demande les grandes listes de résultats via un handle, la troisième compacte les dictionnaires surdimensionnés en descripteurs structurels. Sur une conversation de 5 questions, les tokens passent d'environ 289 500 à 82 900 (-71 %) et la latence moyenne de 15,4 s à 3,1 s (-80 %).