Aller au contenu
Aujourd'hui18 novembremer.4 entrées
  1. AWS Machine Learning Blog62

    Amazon SageMaker AI real-time endpoints prennent en charge le routage basé sur le cache KV

    Amazon SageMaker AI introduit le routage basé sur le cache KV (KV-aware routing) pour les real-time endpoints.

    Motif de la recommandation :L'original détaille le mécanisme de routage basé sur l'état du cache KV, les scénarios applicables et les étapes d'activation, utile pour évaluer le déploiement d'inférence LLM.

  2. AWS Machine Learning Blog42

    Réduire les coûts de l'IA générative : coder les règles, réserver les modèles au jugement

    Le principal levier de coût d'un système d'IA générative consiste à éviter d'appeler un modèle quand une règle déterministe suffit. Trois questions successives — une règle peut-elle vérifier le succès, un modèle peut-il écrire la règle une fois, la réponse provient-elle d'une liste fixe — orientent chaque étape vers du code, un appel de décision contraint ou un modèle dimensionné sur Amazon Bedrock. Les appels inutiles augmentent dépenses, latence et variabilité ; un test d'acceptation exprimable en règle indique généralement que l'étape peut être codée.

  3. AWS Machine Learning Blog48

    ArisGlobal comment mettre à l'échelle l'inférence d'IA générative sur Amazon Bedrock

    ArisGlobal a réduit le coût d'inférence effectif de NavaX sur Amazon Bedrock en inversant l'ordre des requêtes pour mettre en cache le préfixe de prompt partagé plutôt que le document source. Le préfixe partagé est passé d'environ 72 000 à 180 000 tokens en 6 mois (+150 %), faisant grimper les coûts d'inférence par dossier de plus de 200 % ; la mise en cache du préfixe partagé, réutilisable entre dossiers et locataires, permet une croissance sublinéaire des coûts. NavaX, moteur IA pour les sciences de la vie, traite plus de 1 million de transactions réelles en environnement pharmaceutique réglementé depuis mars 2025, avec Claude d'Anthropic et les garde-fous Amazon Bedrock Guardrails.

17 novembremar.
  1. Hugging Face Blog62

    Hugging Face et OpenRouter s'associent pour faciliter l'exécution des modèles open-weight

    Hugging Face bascule Inference Providers de son propre routeur vers celui d'OpenRouter.

    Motif de la recommandation :Le changement de routeur d'Inference Providers et les chiffres de coût et de latence permettent de mesurer l'impact sur les appels de modèles open-weight existants.

16 novembrelun.
  1. EE Times40

    Chirrup.ai : des capteurs acoustiques et le machine learning pour suivre la biodiversité des exploitations agricoles

    Chirrup.ai, fondée en mars 2022 par Conrad Young, mesure la biodiversité de plus de 300 exploitations dans huit pays européens via des capteurs acoustiques intelligents qui enregistrent le chant des oiseaux pendant deux à trois semaines. Chaque capteur associe un microphone MEMS analogique à un codec audio numérique 24 bits, un processeur 240 MHz avec Bluetooth, un modem 4G LTE et un récepteur GNSS multi-constellations, les enregistrements étant convertis en spectrogrammes et analysés par des algorithmes de machine learning, dont la plateforme BirdNET, avec validation par des ornithologues. AgriSound, startup britannique fondée en 2020 par Casey Woodward, déploie de son côté le capteur solaire Polly, qui détecte les fréquences de battement d'ailes des abeilles et traite les signaux localement pour fournir des résultats rapides aux agriculteurs.

15 novembredim.
14 novembresam.
13 novembreven.
12 novembrejeu.
  1. Adafruit Blog73

    Google open source XSE, un moteur de serving C++ pour l'inférence XLA

    Google a mis en open source XSE (XLA Serving Engine), un runtime C++ qui sert des modèles d'apprentissage automatique sans interpréteur Python dans le chemin d'exécution.

    Motif de la recommandation :L'original expose les performances de XSE sur les requêtes courtes et son périmètre d'usage, ce qui permet de situer la place du serving C++ dans les infrastructures existantes.

11 novembremer.
  1. AWS Machine Learning Blog40

    Amazon Bedrock : construire un data lake d'observabilité des invocations

    AWS publie un modèle CloudFormation pour centraliser les journaux d'invocation d'Amazon Bedrock de plusieurs comptes dans un data lake interrogeable via Athena. Le pipeline capture par appel le prompt, la réponse, les compteurs de tokens d'entrée et de sortie, le modèle utilisé, la raison d'arrêt, le compte, l'horodatage et le rôle IAM, puis convertit les logs en Parquet via Amazon Data Firehose. Les modèles CloudFormation, le code Lambda et les requêtes SQL sont disponibles dans le dépôt GitHub AWS Sample Bedrock Invocation Data Lake.

10 novembremar.
9 novembrelun.
7 novembresam.
  1. AWS Machine Learning Blog62

    Amazon SageMaker Inference prend en charge le Multi-Instance GPU pour partitionner les GPU des endpoints de modèles

    Amazon SageMaker Inference prend désormais en charge le partitionnement GPU via NVIDIA Multi-Instance GPU (MIG).

    Motif de la recommandation :Présente la prise en charge de MIG par SageMaker, avec les profils de partition, les limites et les mesures de débit et de coût sur Llama-3.1-8B.

6 novembreven.
5 novembrejeu.
4 novembremer.
3 novembremar.