Industry 4.0 is a digital transformation that aims to improve performance, efficiency, and value in the global industry. In the oil and gas sector, it can potentially reduce costs and increase revenue. Offshore oil production is a challenging and costly endeavor that requires expensive resources to solve complex operational problems while posing risks to humans and the environment. However, digital transformation can change this scenario and is the main drive for developing full robotic autonomy in subsea O&G intervention. Without effective solutions, operators explore limited autonomy alternatives using underwater robotic agents. Some solutions rely on teleoperated underwater robots from onshore but with control drawbacks due to constant disturbances, signal lagging, and user fatigue. Technological advancements in autonomous underwater vehicles without manipulators (AUVs) allow for inspection, monitoring, and survey but no intervention tasks. The demand for autonomy led to the theoretical and laboratory development of Underwater Vehicle Manipulator Systems (UVMS) or Autonomous Underwater Intervention Vehicles (AUIV). However, control schemes lack autonomy features.

In this context, this thesis identifies three main obstacles to achieving underwater robotic autonomy:​ the challenging nature of the subsea environment, the variety and complexity of the subsea systems involved, and the absence of proper task knowledge modeling, including a lack of datasets. The subsea environment is unstructured and dynamic, influenced by natural forces and factors that impact robotic operations. The intricate subsea systems scenario is challenging for knowledge representation and modeling, with many structures, long-life equipment, components, functions, and processes constantly evolving. Intervention tasks on these elements require specific technical knowledge based on technical documentation. In this scenario, underwater robotic agents without task knowledge cannot reason or make decisions.

Therefore, this thesis addresses these challenges, initially defining full robotic autonomy formed by three groups:​ sensorial, interactive, and cognitive. The first two groups are mature technologies closely related to industrial components, such as sensors, communication devices, and actuators. Cognitive capabilities such as perception, recognition, and categorization improve with advancements in computer science. Planning and action, including navigation, are under constant development. Knowledge and inference capabilities, such as reasoning, situation assessment, decision-making, problem-solving, and learning, represent a gap that requires specific developments. Dexterous manipulation advanced with reinforcement learning and machine learning methods associated with natural language processing but is still challenging. However, the lack of a solution involving knowledge persists.

After defining the requirements for autonomy, this thesis evaluates possible solutions in other robotics applications. However, existing solutions lack a proper representation of this complex environment and some cognitive capabilities. Additionally, the technical knowledge required for manipulation tasks in the subsea O&G intervention domain is absent in actual robotic agents. Considering this low-resource environment, this thesis proposes a modular framework as a solution. This reusable structured environment or set of tools provides a foundation for developing, implementing, and managing robotic systems and their associated models. Before starting the solution development, this thesis proposes a five-step roadmap, starting with expert knowledge mapping about the tasks, development of the framework conceptual design, model development, testing and evaluation, and concluding with field testing and deployment.

This roadmap requires many developments, and this thesis limits the scope to establish the foundations of this framework as the general objective. The specific objectives include mapping expert and technical literature knowledge related to manipulation tasks, developing an ontology-shaped conceptual design, developing a knowledge base model using a machinereadable formalism, and developing a language model capable of translating commands in natural language to a machine-readable pattern, allowing human-robot cooperation. The research aims to overcome the limitations of a single-model solution and provide a starting point for further development.

Combining the expert technical knowledge in subsea O&G intervention with underwater robotics theory and proposing innovative approaches and methodology, this thesis concluded the objectives, delivering a visual design support tool mapping the knowledge of tasks and the conceptual design of a framework. As part of this foundation and proof of concept, it also delivers a working knowledge base model and a translation language model capable of named entity recognition in a low-resource domain. Based on the knowledge base developed in this thesis, opportunities for future research projects include the development of models using probabilistic approaches such as Markov Logic Networks, Reinforcement Learning models, and Graph Neural Networks.

L’industrie 4.0 est une transformation numérique qui vise à améliorer la performance et l’efficacité de l’industrie mondiale. Dans le secteur du pétrole et du gaz, elle pourrait potentiellement réduire les coûts et augmenter la valeur des revenus. La production pétrolière offshore est difficile et coûteuse, nécessitant des ressources onéreuses pour des problèmes opérationnels complexes tout en présentant des risques pour les humains et l’environnement. Cette transformation numérique peut changer ce scénario et constitue le principal moteur du développement d’une autonomie robotique complète dans les interventions P&G sousmarines. En l’absence de solutions efficaces, les opérateurs explorent des alternatives en utilisant des agents robotiques subaquatiques avec des niveaux d’autonomie limités. Certaines solutions s’appuient sur des véhicules téléopérés depuis la terre ferme, mais elles présentent l’inconvénient d’un contrôle difficile en raison de perturbations constantes, d’un décalage des signaux et de la fatigue de l’utilisateur. Les avancées technologiques dans le domaine des véhicules sous-marins autonomes sans manipulateurs (AUV) permettent d’effectuer des tâches d’inspection et de surveillance, mais pas d’intervention. La demande d’autonomie a conduit au développement théorique et/en laboratoire de systèmes de véhicule-manipulateurs sous-marins. Cependant, les schémas de contrôle manquent de caractéristiques d’autonomie.

Cette thèse identifie trois obstacles principaux à surmonter pour parvenir à l’autonomie robotique subaquatique :​ "La nature complexe de l’environnement sous-marin non structuré et dynamique (influencé par des forces et des facteurs naturels qui ont un impact sur les opérations robotiques), la variété et la complexité des systèmes sous-marins impliqués (avec de nombreuses structures, des équipements à longue durée de vie, des composants, des fonctions et des processus en constante évolution) et l’absence d’une modélisation appropriée de la connaissance technique des tâches, y compris un manque d’ensembles de données. Dans ce contexte, les agents robotiques subaquatiques ne peuvent pas raisonner ou prendre des décisions.

Par conséquent, cette thèse aborde ces défis, en définissant d’abord une autonomie robotique complète formée de trois catégories :​ sensorielle, interactive et cognitive. Les deux premières catégories sont des technologies matures étroitement liées aux composants industriels, tels que des capteurs, des dispositifs de communication et des actionneurs. Les capacités cognitives telles que la perception, reconnaissance et catégorisation s’améliorent grâce aux progrès de l’informatique. La planification et exécution de taches, y compris la navigation, font l’objet d’un développement constant. Les capacités de connaissance et d’inférence, telles que raisonnement, évaluation de la situation, prise de décision, résolution de problèmes et apprentissage, représentent des lacunes qui nécessitent des développements spécifiques. Certains efforts utilisant l’apprentissage par renforcement et méthodes d’apprentissage de représentation associés au traitement du langage naturel ont permis de réaliser des progrès en matière de manipulation dextre. Cependant, l’absence d’une solution impliquant la connaissance persiste.

Après avoir défini les exigences en matière d’autonomie, cette thèse a évaluée les solutions possibles dans d’autres domaines de la robotique. Cependant, les solutions existantes manquent d’une représentation adéquate de cet environnement complexe et de certaines capacités cognitives. Considérant cet environnement à faibles ressources, cette thèse propose un cadre de travail modulaire comme solution. Cet environnement structuré ou ensemble d’outils fournit une base pour le développement, la mise en œuvre et gestion des systèmes robotiques et de leurs modèles associés. Avant de commencer le développement de la solution, cette thèse propose un plan en cinq étapes, commençant par le mappage des connaissances des experts sur les tâches, le développement de la conception du cadre de travail, le développement du modèle, les tests et l’évaluation, et se concluant par les tests sur le terrain et le déploiement.

Ce plan nécessite de nombreux développements et cette thèse limite le champ d’application à une réalisation tangible. L’objectif général est d’établir les fondements de ce cadre de travail. Les objectifs spécifiques comprennent le mappage des connaissances des experts et de la littérature technique relatives aux tâches de manipulation, l’élaboration d’une conception en forme d’ontologie, le développement d’un modèle de base de connaissances utilisant un formalisme lisible par la machine et le développement d’un modèle de langage capable de traduire les commandes en langage naturel en un pattern lisible par la machine, permettant la coopération entre l’homme et le robot.

En combinant les connaissances techniques d’experts en intervention sous-marine P&G avec la théorie de la robotique sous-marine et en proposant des approches et une méthodologie innovante, cette thèse a conclue les objectifs, en fournissant un mappage de la connaissance des tâches comme outil d’aide au développement conceptuelle d’un cadre de travail. Elle fournit également un modèle de base de connaissances fonctionnel et un modèle linguistique de traduction capable de reconnaître les entités nommées dans un domaine à faibles ressources, comme partie intégrale de la fondation de ce cadre de travail et preuve de concept. Sur la base de connaissance développée dans cette thèse, les possibilités futurs comprennent le développement de modèles utilisant des approches probabilistes telles que les réseaux logiques de Markov, les modèles d’apprentissage par renforcement et les réseaux neuronaux graphiques.