Aprendizado por Reforço Profundo para Navegação sem Mapa de um Veículo Híbrido Aéreo-Aquático

Abstract

Realizar a navegação entre meios é uma tarefa desafiadora para robôs móveis híbridos, especialmente em cenários com obstáculos. Este trabalho apresenta uma abordagem baseada em aprendizado por reforço profundo (Deep-RL) para navegação autônoma de um tipo específico de robô móvel híbrido: um Veículo Híbrido Tipo Ar-Água (HUAUV). A abordagem proposta utiliza somente informação de sensores de distância e de informações relativas à localização do veículo para realizar a navegação. Resultados obtidos mostram que é possível realizar navegação sem mapa do início ao fim sem usar nenhum tipo de operação manual, somente utilizando os agentes baseados em Deep-RL. A navegação dos agentes treinados é comparada com a navegação sem mapa realizada por um algoritmo clássico - BUG2. A abordagem é baseada em dois métodos do estado da arte para navegação sem mapa de robôs terrestres: Política de Gradiente Determinístico Profundo (DDPG) e Soft Actor-Critic (SAC).