Desenvolvimento de Navegação Autônoma para VANT Utilizando Técnicas de Aprendizado por Reforço

Abstract

Este projeto visa desenvolver, em simulação, um sistema de navegação para um VANT (Veículo Aéreo Não Tripulado) de asa fixa utilizando aprendizado por reforço. (Reinforcement Learning). O ambiente de treinamento foi implementado diretamente sobre a modelagem mecânica do VANT (Aerosonde), no referencial NED (North-East-Down), garantindo que a dinâmica (atuadores, restrições e equações de movimento) utilizada pelo VANT reflita seu comportamento físico. O veículo emprega Proximal Policy Optimization (PPO), adequado a espaços de ação contínuos (complexos) e estáveis para controle fino, aprendendo a minimizar distância ao alvo (waypoint), alinhar direção e respeitar os limites operacionais. Em paralelo, a modelagem mecânica foi consolidada (MATLAB) para validação e análise, enquanto o ambiente em Python (compatível com a biblioteca Gymnasium) integra o mesmo conjunto de equações ao loop de interação do aprendizado por reforço. Essa integração do modelo mecânico com o ambiente de Reinforcement Learning assegura consistência entre simulação física e aprendizado, favorecendo a transferência de resultados e a avaliação comparativa de algoritmos.

This project aims to develop, in simulation, a navigation system for a fixed-wing UAV (Unmanned Aerial Vehicle) using Reinforcement Learning (RL). The training environment was implemented directly on the UAV’s mechanical model (Aerosonde) in the NED (North–East–Down) reference frame, ensuring that the dynamics (actuators, constraints, and equations of motion) reflect the vehicle’s real physical behavior. The vehicle employs the Proximal Policy Optimization (PPO) algorithm, which is well suited for continuous (complex) and stable action spaces, learning to minimize the distance to the target (waypoint), align its direction, and respect operational limits. In parallel, the mechanical model was developed and validated using MATLAB while the Python environment (compatible with the Gymnasium library) integrates the same set of equations into the RL interaction loop. This integration between the mechanical model and the Reinforcement Learning environment ensures consistency between physical simulation and learning, supporting both result transferability and comparative algorithm evaluation.