Transformer la saisie de texte en actions avec Needle, un LLM de function calling de 14 Mo
Cactus Compute présente Needle 2, un modèle de function calling de 14 Mo qui transforme des instructions en anglais en actions locales sur un Raspberry Pi 5.
Motif de la recommandation :Un exemple concret de modèle de function calling de 14 Mo exécuté en local sur Raspberry Pi 5, avec latences et consommation mémoire mesurées.