Mistral AI lance Robostral Navigate, un modèle 8B de navigation incarnée
Introducing Robostral Navigate
Mistral AI présente Robostral Navigate, un modèle 8B de navigation incarnée qui utilise uniquement une caméra RGB et une instruction en langage naturel pour déplacer un robot dans des environnements complexes. Il atteint 76,6 % de réussite sur R2R-CE validation unseen, soit 9,7 points de plus que la meilleure approche à caméra unique et 4,5 points de plus que le meilleur système utilisant profondeur ou plusieurs caméras. Le modèle est entraîné entièrement en simulation sur environ 2,4 millions de trajectoires issues de 350k scènes, avec une méthode de prefix-caching qui réduit de 22× le nombre de tokens d'entraînement, puis un apprentissage par renforcement en ligne CISPO qui améliore le taux de réussite de 3,2 %. Il fonctionne sur robots à roues, à pattes et volants, et s'adapte à des obstacles réels non vus à l'entraînement.
Un modèle de navigation incarnée de 8B qui atteint 76,6 % sur R2R-CE avec une seule caméra RGB, avec les détails d'entraînement et de RL.
Source :Mistral AI · mistral.ai