Une équipe de chercheurs de Google DeepMind a utilisé l'apprentissage par renforcement profond pour entraîner des robots humanoïdes miniatures à jouer au football. Ces robots, conçus pour évoluer dans un environnement dynamique, ont montré leur capacité à marcher, tourner, donner des coups de pied et se relever rapidement après une chute, ou encore effectuer des transitions fluides entre différentes actions.
Alimentés par batterie, les robots mesurent environ 50 centimètres de haut et sont dotés de 20 articulations. Ils ont été soumis à 240 heures d’entraînement par renforcement profond. Cette méthode combine l'apprentissage par essais et erreurs avec l'analyse de données par des réseaux de neurones profonds, permettant aux robots d'améliorer significativement leurs compétences en football par rapport à des robots programmés sans deep learning.
Le deep learning, coach de l’équipe
Les résultats obtenus ont été significatifs. Par rapport à leurs homologues entraînés sur une base de compétences préprogrammées, les nouveaux robots entraînés se sont déplacés jusqu'à 181% plus vite, ont tourné 302% plus rapidement, ont donné des coups de pied 34% plus forts et se sont relevés 63% plus vite après une chute. Ces comportements, comme le pivotement sur le coin du pied ou la rotation, sont complexes à concevoir manuellement. Ils démontrent la supériorité du deep reinforcement learning pour des mouvements sophistiqués et adaptatifs.
L'équipe de DeepMind a utilisé le moteur physique MuJoCo pour simuler des scénarios d'entraînement, afin de réduire l'écart entre les compétences acquises en simulation et leur application dans des environnements réels. "Nous avons formé l'agent en simulation dans un environnement de football personnalisé, puis nous l'avons transféré dans un environnement réel correspondant" expliquent les chercheurs de DeepMind. Cette approche a facilité le transfert des compétences apprises vers des applications concrètes sans nécessiter d'entraînement intensif dans le monde réel.
Pour en savoir plus :
- Tuomas Haarnoja, Learning agile soccer skills for a bipedal robot with deep reinforcement learning, Science Robotics, 2024
- New Scientist