An analysis of reward shaping for reinforcement learning in a multi-agent framework for combinatorial optimization

Abstract

Este trabalho avalia modelagens de recompensas para o algoritmo de aprendizado usado por um framework multiagente para otimização combinatória. Esta avaliação consiste em seis cenários diferentes de modelagem de recompensas, aplicados a um conjunto de agentes idênticos construídos no framework, que implementam a metaheurística Iterated Local Search (ILS) para a solução do Problema de Roteamento de Veículos com Janelas de Tempo. Testes computacionais, aplicados a instâncias da literatura, mostram que os resultados obtidos para as diversas formas de recompensa são comparáveis quanto a qualidade dos valores de função objetivo alcançados, ao tempo de execução, e à velocidade de aprendizado frente a resultados já existentes na literatura. As conclusões mostram que é possível definir uma forma de aprendizado que seja autônoma quanto ao conhecimento do problema objeto de interesse e eficiente no que diz respeito a tempo computacional e velocidade de aprendizado.