ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock
How ArisGlobal scaled generative AI inference on Amazon Bedrock
ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.
Source :AWS Machine Learning Blog · aws.amazon.com