Des chercheurs de l'université de Stanford et de l'Institut de recherche Toyota ont découvert que l'ajout de données audio aux données visuelles lors de la formation des robots améliore leurs compétences d'apprentissage. Leur recherche montre comment cette approche pourrait transformer la formation des robots autonomes.
Les chercheurs ont observé que la formation des robots basés sur l'IA repose presque exclusivement sur des informations visuelles, en négligeant souvent les aspects audio. Ils ont donc envisagé l'utilisation de microphones pour permettre aux robots de collecter des données sonores pendant l'exécution des tâches, espérant ainsi améliorer leur apprentissage.
Retourner des bagels, et effacer des tableaux
Pour tester cette hypothèse, l'équipe a conçu et mené quatre expériences d'apprentissage robotique. La première consistait à enseigner à un robot à retourner un bagel dans une poêle à l'aide d'une spatule. La deuxième impliquait l'utilisation d'une gomme pour effacer une image sur un tableau blanc. La troisième expérience portait sur le versement de dés d'un gobelet dans un autre, et la quatrième sur le choix de la bonne taille de ruban parmi trois échantillons disponibles, puis sur l'utilisation de ce ruban pour fixer un fil à une bande de plastique.
Toutes ces expériences ont été réalisées avec le même robot, équipé d'une pince de préhension. Elles ont été effectuées de deux manières : en utilisant uniquement la vidéo, puis en utilisant à la fois la vidéo et l'audio. Les chercheurs ont également varié certains facteurs, comme la hauteur de la table, le type de ruban ou le genre d'image sur le tableau blanc.
Parler à l'oreille du robot
Après avoir réalisé ces expériences, l'équipe a comparé les résultats en évaluant la rapidité, la facilité d'apprentissage et l'exactitude des robots dans l'exécution des tâches. Ils ont constaté que l'ajout de données audio améliorait significativement la vitesse et la précision dans certaines tâches, mais pas dans d'autres.
Par exemple, l'ajout de données audio a considérablement amélioré la capacité du robot à déterminer la présence de dés dans le gobelet, grâce aux sons distinctifs produits lors du versement. De même, les données sonores ont aidé le robot à comprendre s'il exerçait la bonne pression sur la gomme. En revanche, l'ajout de sons n'a pas beaucoup aidé à vérifier si le bagel avait été retourné avec succès ou si une image avait été complètement effacée du tableau blanc.
L'équipe de recherche conclut que leur travail montre que l'intégration de données audio dans les matériaux d'apprentissage pour les IA des robots pourrait offrir de meilleurs résultats pour certaines applications spécifiques. Ils soulignent que cette approche pourrait représenter une avancée importante dans le domaine de la robotique autonome, en améliorant la capacité des robots à effectuer des tâches complexes avec une plus grande précision et efficacité.
Pour en savoir plus :