Le problème de guidage autonome est un domaine de recherche en constante évolution. La popularisation des drones a étendu ce domaine de recherche au cours des dernières années. La nature de ce type d’engins amène plusieurs nouveaux défis à surmonter, notamment en lien avec la variété d’environnements auxquels ils peuvent être confrontés. Contrairement aux voitures autonomes, les drones se retrouvent souvent dans des milieux inconnus non cartographiés et dépourvus de signal GPS. De nouvelles méthodes ont donc été développées pour mitiger ces défis.

Les solutions au problème de guidage autonome dans la littérature peuvent dans ce mémoire de maîtrise être classées dans deux catégories :​ le guidage réactif localement à des fins d’exploration et le guidage orienté. La première catégorie regroupe les solutions de guidage local d’engins naviguant sans destination précise alors que la seconde regroupe celles de guidage tentant d’atteindre une destination. Les deux catégories de guidage en milieu inconnu utilisent majoritairement des approches incluant l’apprentissage par renforcement ainsi que l’apprentissage par imitation. Cependant, peu d’études abordent le problème de guidage orienté dans des environnements complexes de grandeur nature.

L’objectif de ce projet de recherche est donc de concevoir un agent intelligent capable d’imiter la logique de guidage d’un humain dans un environnement inconnu complexe en se basant sur la vision de profondeur et une estimation de sa destination. Une approche utilisant l’apprentissage par imitation est employée pour minimiser les coûts et les temps de calcul. Un environnement de simulation sophistiqué est donc mis sur place afin de créer un ensemble de données pour l’entraînement par imitation. L’ensemble de données qui a été créé comporte 624 trajectoires parmi 9 environnements différents effectuées par un expert suboptimal pour un total de 296 466 paires d’entraînement. L’attributif suboptimal est employé pour qualifier l’humain à imiter puisque ce dernier devra dresser les trajets au meilleur de ses capacités sans avoir recours à des algorithmes de planification de trajectoire optimale.

Un modèle de classification capable de prédire la prochaine commande de guidage à effectuer compte tenu des observations actuelles et précédentes a été implémenté. Le modèle est entraîné à encoder une représentation de l’image de profondeur obtenue à partir de l’image RGB ainsi qu’une représentation des coordonnées relative à sa destination. Ces représentations sont traitées par un réseau récurrent à mémoire court et long terme («Long Short-Term Memory» ou LSTM) ainsi qu’un perceptron multicouches («Multilayer Perceptron» ou MLP) afin de prédire la direction à emprunter. Une fonction coût adaptée au problème ainsi que des techniques d’augmentation de l’ensemble de données sont incorporées lors de l’entraînement afin d’améliorer la précision du modèle en validation et en test. Une recherche d’hyperparamètres de type grid search a été effectuée afin de sélectionner le meilleur modèle selon la précision obtenue sur l’ensemble de données de test. Des précisions entre 77.10% et 82.59% ont été atteintes indiquant un impact significatif des méthodes d’augmentation de l’ensemble de données.

Les résultats de simulation n’ont cependant pas été corrélés directement avec les performances en entraînement. Il a été confirmé que l’hypothèse selon laquelle les paires d’entraînement sont identiquement indépendamment distribuées est en fait erroné dans un contexte de processus de décision Markovien tel que prédit par la théorie, car chaque action induit un nouvel état dépendant du précédent. Les erreurs effectuées par le modèle peuvent donc s’accumuler et le pousser dans une situation jamais rencontrée par l’expert. Il est dans ce cas très difficile pour le modèle de choisir la bonne action à poser et peut occasionner des accidents. Malgré les techniques d’augmentation introduites, les meilleurs modèles en entraînement prennent ainsi les dernières positions dans le tableau des performances de simulation, laissant les modèles initialement en deuxième position en entraînement au podium en simulation. Les modèles performants en simulation semblent donc avoir appris une représentation plus précise et moins rigide de la politique de guidage de l’expert. Les modèles performants en simulations ont en fait été en mesure d’imiter le comportement de l’expert et atteindre toutes les destinations en obtenant des erreurs entre 1.9 m et 3.2 m par rapport aux trajectoires effectués par l’expert. Plusieurs expérimentations ont été effectuées afin d’évaluer les aptitudes de généralisation du modèle en simulation. Les variations en vitesse, en altitude et en fréquence de rafraîchissement de la mémoire du modèle ont prouvé que l’agent autonome obtenu parvient tout de même à atteindre les destinations. Des analyses supplémentaires justifient l’utilisation d’images de profondeur par opposition aux images RGB ainsi que l’utilisation d’un module récurrent dans la représentation de l’état observé.

Une multitude d’améliorations sont suggérées concernant l’utilisation et la création d’un ensemble de données destiné à l’apprentissage par imitation pour le guidage autonome. Il est également suggéré d’incorporer l’image RGB à l’image de profondeur considérant certains éléments de comportement du modèle entraîné sur les images RGB. Les résultats encourageants obtenus motivent donc à entreprendre les tests hors simulation dans la suite du projet.

The autonomous guidance field is a continuously evolving research topic. The popularization of micro aerial vehicles such as quadcopters has contributed to the expansion of this research topic. Because of the wide range of different environmentsthey can navigate into, quadcopters have many challenges on their own. In contrast with autonomous cars, quadcopters will most likely navigate more often in unknown environments with limited or no GPS service. New methods for autonomous guidance were needed for quadcopters.

The literature review reveals two main categories relevant to the autonomous guidance problem:​ locally passive-reactive guidance and oriented guidance. The former includes all forms of guidance not aiming for a specific target while the latter focuses on reaching a destination. Both categories are considering guidance in unknown environments and use mostly reinforcement learning or imitation learning as a solving method. However, most of the studies on autonomous oriented guidance are not executed in a full size, complex environment setting.

The objective of this research project is to create an intelligent agent capable of imitating a human guidance policy in a complex and unknown environment based on a depth map image and relative goal inputs. Considering the lower cost in development and computation time, the imitation learning approach was chosen. A sophisticated simulation environment was set up to create an imitation learning datasets. A total of 624 suboptimal demonstration paths from 9 different 3D environments were gathered, which represent 296 466 learning pairs. The demonstrations are qualified as suboptimal since the expert is a human trying its best to solve the guidance problem without any optimal planners.

A classification model was introduced for predicting the appropriate guidance command based on the observations over time. The model learned a meaningful representation of its inputs which can be processed by a long short-term memory network (LSTM) followed by a fully connected network. In this way, the depth image obtained from the RGB original image along with the relative coordinates to the destination are converted into a guidance command at each time step. In order to improve the classification accuracy on the test set, a custom loss function and data augmentation techniques were implemented.

A grid search over possible combination of dataset augmentation proportions was conveyed to optimize the hyperparameters. Accuracy ranging between 77.10% and 82.59% were obtained for this experiment, revealing a significant dependency to the augmentation technique.

Simulation results were, however, not directly correlated with the classification accuracy on the test set. We found that the independent and identically distributed assumption of the training examples was in fact no longer valid in an MDP problem as predicted by the theory since each state is influenced by the action taken at the previous state. Errors made by the agent can then add up over time and lead the agent into a state never encountered by the expert during the training. It is in this case extremely difficult fort the agent to choose the proper action and can cause a crash. Despite the augmentation techniques used, the best models according to the test accuracy were in fact the worst in simulation, leaving the second-best models in first place in the simulation. Thus, models performing well in simulation appeared to have learned a better representation and a less rigid formulation of the expert’s guidance policy. The simulation’s high-performing models were in fact, able to imitate the expert’s behavior and reach all destinations with a mean error ranging between 1.9 m and 3.2 m.

The generalization ability of the policy learned by the model was also evaluated in this work. The model has shown its ability to perform through a wide range of speed, altitude and memory refresh rate. Cross-validation was also carried out to test the impact of the selected validation and test sets. Experiments with the model also validate the hypothesis in favor of using depth maps as opposed to RGB images as well as using recurrent models.

Various improvements concerning the use and the creation of an imitation learning dataset are then proposed. Considering certain positive behaviors when using RGB image inputs, it is also proposed to incorporate RGB image to the depth input in future works. In the light of the results obtained in this thesis, it is fair to say that the next step of this work will include real-world testing.