Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.024
Aluno: Mateus Gonçalves Machado
Orientador: Prof. Hansenclever de França Bassani
Título: DyLam: A Dynamic Reward Weighting Method for Reinforcement Learning
Policy Gradient Algorithms
Data: 07/06/2022
Hora/Local: 16h – Virtual – interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
Prof. Anna Helena Reali Costa (USP / Departamento de Engenharia de Computação e Sistemas Digitais)
Prof. Hansenclever de França Bassani (UFPE / Centro de Informática)
RESUMO:
Aprendizagem por Reforço (AR) é um subcampo emergente de Aprendizagem de
Máquina no qual um agente interage com um ambiente e aproveita suas
experiências para aprender, por tentativa e erro, quais ações são as mais
adequadas para cada estado.
A cada passo o agente recebe um sinal de recompensa positivo ou negativo,
que é o principal feedback utilizado para o aprendizado.
A AR encontra aplicações em diversas áreas, como robótica, bolsa de valores
e até mesmo em sistemas de refrigeração, apresentando desempenho
sobre-humano no aprendizado de jogos de tabuleiro (Xadrez e Go) e
videogames (jogos de Atari, Dota2 e StarCraft2).
No entanto, os métodos AR ainda lutam em ambientes com recompensas escassas.
Por exemplo, um agente pode receber poucas recompensas por gols em um jogo
de futebol. Assim, é difícil associar recompensas (gols) com ações.
Os pesquisadores frequentemente introduzem várias recompensas
intermediárias para ajudar no aprendizado e contornar esse problema. No
entanto, combinar adequadamente várias recompensas para compor o sinal de
recompensa único usado pelos métodos AR frequentemente não é uma tarefa
fácil.
Este trabalho visa resolver este problema específico através da introdução
do DyLam. Ele estende os métodos de gradiente de política existentes
decompondo a função de recompensa usada no ambiente e ponderando
dinamicamente cada componente em função do desempenho do agente na tarefa
associada.
Provamos a convergência do método proposto e mostramos empiricamente que
ele supera métodos concorrentes nos ambientes avaliados em termos de
velocidade de aprendizado e, em alguns casos, desempenho final.
Palavras-chave: Aprendizagem por Reforço; Reward shaping; Recompensas
esparsas; Aprendizagem Profunda.
Comentários desativados