Entraîner un robot balance avec l'apprentissage par renforcement
Train a balance bot with reinforcement learning
Shawn Hymel a publié dans Make: Volume 99 un guide pour entraîner un robot balance à deux roues par apprentissage par renforcement plutôt que par boucle de contrôle classique. L'agent est entraîné avec PPO, l'algorithme publié par OpenAI en 2017, dans Google Colab avec MuJoCo comme simulateur physique, sans installation locale, sur huit environnements parallèles de 500 000 pas de temps chacun. L'acteur et le critique sont deux réseaux séparés à deux couches cachées de 32 nœuds, et l'entraînement suit trois phases de curriculum learning : équilibre, puis randomisation de domaine sur le bruit des capteurs, le délai d'action et le couple moteur, puis perturbations aléatoires, masses des pièces et frottement des roues. La politique finale est exportée en fichier ONNX et en en-tête actor.h, intégré dans un sketch Arduino pour le kit M5Stack Bala2-Fire, où l'ESP32 exécute l'inférence dans une boucle de contrôle de 5 ms et convertit les deux sorties du réseau en valeurs PWM pour les moteurs ; seul l'acteur est déployé.
Le guide détaille le pipeline complet, de l'entraînement PPO dans MuJoCo à l'export ONNX et au déploiement embarqué sur ESP32, avec les hyperparamètres clés.
Source :Adafruit Blog · blog.adafruit.com