Les manipulateurs sériels d’assistance sont des outils bénéfiques pour les personnes vivant avec des déficiences neuromotrices. Pour toujours être à la portée de l’utilisateur, certains des manipulateurs, dont le manipulateur Jaco², ont même été développés pour être montés sur le fauteuil roulant du patient. Effectivement, ceux-ci permettent aux utilisateurs d’accomplir plusieurs tâches de la vie quotidienne nécessitant généralement l’assistance d’un soignant ou d’un membre de la famille.

Cependant, certaines tâches quotidiennes restent tout de même difficilement réalisables à l’aide de ces manipulateurs ;​ l’ouverture de portes en est un exemple. En effet, face à cette tâche, les utilisateurs nécessitent habituellement de l’assistance humaine même lorsque le manipulateur est disponible. Pour pallier ce problème, l’objectif principal de ce travail est de développer un système intelligent d’assistance à l’ouverture des portes pour les utilisateurs en fauteuil roulant en asservissant uniquement le manipulateur sériel d’assistance. Le manipulateur utilisé dans ce travail de maîtrise est le Jaco² 6 DDL de Kinova Inc.

La solution présentée est composée de deux composantes principales. La première est un système de stéréovision supporté par l’analyse intelligente de scènes tridimensionnelles par vision artificielle pour déterminer la nature et la position des poignées. Celle-ci est munie d’un système de détection et de classification. La détection est réalisée en combinant deux méthodes :​ une détection à l’aide d’un algorithme de reconnaissance Faster R-CNN ainsi qu’une détection à l’aide de l’information tridimensionnelle de la scène. Ces deux méthodes sont combinées pour éliminer la détection de faux positifs. Malheureusement, dû à la taille limitée de la base de données utilisée pour l’entrainement, l’algorithme Faster R-CNN réalise régulièrement de mauvaises détections. Malgré cela, grâce à l’ajout de l’information tridimensionnelle, les résultats démontrent un taux de réussite de 0.9 pour la détection des poignées de porte rondes et de 1 pour les poignées à levier. En ce qui concerne la classification, celle-ci est réalisée à l’aide de descripteurs HOG et a été développée pour reconnaître les poignées rondes, à levier, et à tirer. Avec l’ensemble des expérimentations ne générant aucune erreur de classification, cette méthode s'est avérée 100% efficace pour déterminer la classe des poignées.

La deuxième est formée de trois systèmes de contrôle du manipulateur, permettant respectivement 1) d’atteindre la poignée, 2) de l’opérer, et 3) d’ouvrir la porte. Pour atteindre la poignée, la boucle de contrôle mise en place a été munie d’un PID, d’une compensation gravitationnelle, et d’une action anticipative pour compenser les forces causées par les inerties internes. Pour les deux autres systèmes, un contrôle par impédance sans retour de force a été implémenté, muni d’un amortissement sur la vitesse angulaire des actuateurs pour rendre le système plus sécuritaire. De plus, pour opérer les poignées rondes, l’utilisation d’un intégrateur est aussi ajoutée pour faciliter la tâche. Suite aux simulations, les résultats démontrent que le système atteint en tout temps la poignée avec une erreur de position inférieure à 1mm et une erreur d’orientation inférieure à 0.05°. Le système est également en mesure d’opérer les poignées rondes et à levier avec un taux de réussite de 0.96 et 1 respectivement. Finalement, le système parvient à assister l’utilisateur lors de l’ouverture de la porte lui permettant d’accomplir cette tâche en moins de 30 secondes en tout temps. Toutefois, les résultats démontrent également que l’orientation de l’effecteur est importante pour que celui-ci parvienne à maintenir sa prise sur la poignée lors de situations réelles. Effectivement, dans les situations où le poignet de l’effecteur ne possédait pas un actuateur perpendiculaire au sol, il était facile pour l’utilisateur d’exercer des forces sur la poignée pouvant atteindre plusieurs centaines de Newtons.

Assistive serial manipulators are beneficial tools for people living with neuromotor impairments. In order to be within reach of the user, some of the manipulators, including the Jaco² manipulator, have been specifically developed to be mounted on the patient's wheelchair. Indeed, these allow users to accomplish several tasks pertaining to their daily routine, generally requiring the assistance of a caregiver or a family member.

However, some daily tasks remain difficult to perform using these manipulators. An example of this is opening doors. Indeed, faced with this task, users usually require human assistance even when the manipulator is available. To overcome this problem, the main objective of this work is to develop an intelligent door opening assistance system for wheelchair users by subjugating only the serial assistance manipulator. The manipulator used in this mastery work is the Jaco² 6 DOF manipulator of Kinova Inc.

The presented solution is composed of two main components. The first is a stereovision system supported by the intelligent analysis of three-dimensional scenes using artificial vision to determine the nature and position of the handles. It is equipped with a detection and classification system. Detection is performed by combining two methods:​ detection using a Faster R-CNN recognition algorithm and detection using three-dimensional information from the scene. These two methods are combined to eliminate the detection of false positives. Unfortunately, due to the limited size of the database used for training, the Faster R-CNN algorithm regularly makes erroneous detections. However, thanks to the addition of three-dimensional data, the results show a success rate of 0.9 for the detection of round and of 1 for the detection of lever door handles despite this difficulty. As far as classification is concerned, this is done using HOG descriptors and was developed to recognize round, lever and pull handles. With all the experiments generating no classification errors, this method proved to be 100% effective in determining the class of handles.

The second is made up of three manipulator control systems, respectively allowing 1) to reach the handle, 2) to operate it and 3) to open the door. To reach the handle, the control loop set up was provided with a PID, a gravitational compensation, and a feedforward action to compensate for the forces caused by the internal inertias. For the other two systems, impedance control without force feedback was implemented with damping on the angular speed of the actuators to make the system safer. In addition, to operate the round handles, the use of an integrator is also added to facilitate the task. Following the simulations, the results show that the system reaches the handle at all times with a position error of less than 1mm and an orientation error of less than 0.05°. The system is also able to operate round and lever handles with a success rate of 0.96 and 1 respectively. Finally, the system manages to assist the user when opening the door allowing him to accomplish this task in less than 30 seconds at all times. However, the results also demonstrate that the orientation of the end-effector is important for the latter to be able to maintain its grip on the handle during reallife situations. Indeed, in situations where the wrist of the effector did not have an actuator perpendicular to the ground, it was easy for the user to exert forces on the handle that could reach several hundred Newtons.