Un petit world model génère des jeux et Stream AC y joue sur Pico 2W
Tiny world model generates games and stream ac plays them all on Pico 2W #PiDay
Sebastian-Ion Nae a publié sur GitHub un projet qui fait tourner deux petits réseaux de neurones sur un Raspberry Pi Pico 2 W. Un world model prédit l'image suivante et la récompense à partir de l'image courante et d'une action, tandis qu'un actor choisit l'action suivante à partir de l'image rêvée, sans jamais toucher au jeu réel. Le world model est un unique bloc Transformer avec un seul jeu de poids, appliqué une à quatre fois avec réinjection de l'entrée à chaque passe ; le firmware en exécute deux sur le Pico. Les poids et activations sont en int8, entraînés avec quantization aware training. Les jeux incluent Breakout, Pong, Flappy Bird, Pac-Man lite et un Doom-lite avec vue 3D et minimap ; Pac-Man est le plus gros à 600 KB de flash et 460 KB de SRAM. Les deux réseaux tournent sur le core 1 du RP2350, le core 0 gérant l'USB et un Display Pack ST7789 optionnel. L'agent utilise Stream AC(λ) et la carte peut démarrer avec un agent vierge qui apprend dans son propre rêve ; le même moteur se compile aussi en WebAssembly.
Le projet montre comment faire tourner un world model et un agent en int8 sur un microcontrôleur, avec les compromis mémoire et vitesse détaillés.
Source :Adafruit Blog · blog.adafruit.com