Utilisation du Reinforcement Learning pour le contrôle de robots autonomes
- Degree programme: BSc in Automobil - und Fahrzeugtechnik
- Authors: Bruno Fournier, Sébastien Biner
- Thesis advisor: Prof. Peter Affolter
- Year: 2024
Cet article explore l'application du Reinforcement Learning dans la conduite autonome à "Duckietown", en évaluant des algorithmes comme DQN, DDPG et PPO. Il met en lumière la performance supérieure du PPO, permettant une conduite fluide en simulation et en conditions réelles. L'intégration de YOLO v5 pour la détection d'objets enrichit la sécurité de l'agent, illustrant le potentiel du Reinforcement Learning et de la perception pour améliorer les véhicules autonomes.
Introduction
Ce travail de Bachelor explore l'application du Reinforcement Learning (RL) pour le suivi de ligne par un agent autonome dans l'environnement de "Duckietown". Plusieurs algorithmes, notamment le DQN, DDPG et PPO, ont été évalués et comparés pour leur capacité à permettre à un robot de naviguer de manière autonome sur une piste sans franchir les lignes. L'objectif principal était, à l'aide de ROS, de développer et d'implémenter un modèle de conduite efficace, validant ainsi l'efficacité des algorithmes dans des conditions réelles. Cette étude a également permis d'explorer les défis spécifiques liés au transfert des modèles de simulation vers le monde réel, soulignant l'importance d'une adaptation précise pour une performance optimale.
Performance du modèle PPO
Le modèle PPO, spécifiquement entrainé avec des images superposées en noir et blanc, s'est distingué en démontrant une conduite fluide et robuste à la fois en simulation et en environnement réel. Le robot a été en mesure de maintenir une trajectoire précise malgré des conditions variables de luminosité.
Intégration de la détection d'objets
Un aspect notable de ce projet a été l'intégration réussie de la détection d'objets à l'aide de YOLO v5, renforçant la sécurité de l'agent en évitant les obstacles sur la trajectoire. Cette fonctionnalité enrichit les capacités de navigation autonome en permettant des réactions rapides et adaptatives aux changements imprévus dans l'environnement.
Conclusions et perspectives
Cette thèse a ainsi démontré l'efficacité du RL et de la perception dans les véhicules autonomes, ouvrant la voie à des améliorations futures et à des applications potentielles sur des véhicules à grande échelle. Les connaissances et compétences acquises lors de cette étude sont précieuses pour le développement continu de systèmes de conduite autonome robustes et efficaces, contribuant ainsi à l'avancement de la technologie dans ce domaine en constante évolution.
