Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 513
Aluno: Marcelo Gomes Pereira de Lacerda
Orientador: Profa. Teresa Bernarda Ludermir
Co-orientador: Prof. Fernando Buarque de Lima Neto (UPE/Escola Politécnica de PE)
Título: Out-of-the-box Parameter Control for Evolutionary and Swarm-based Algorithms with Distributed Reinforcement Learning
Data: 19/03/2021
Hora/Local: 13h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Adenilton José da Silva (UFPE / Centro de Informática)
Prof. Luciano Demetrio Santos Pacifico (UFRPE / Departamento de Computação)
Prof. Carmelo Jose Albanez Bastos Filho (UPE / Escola Politécnica de PE)
Prof. Herbert Kuchen (Institu für Wirtschaftsinformatik/ Westfälische Wilhelms-Universität Münster – Alemanha)
Prof. Guilherme de Alencar Barreto (UFC/Engenharia e Teleinformática)
RESUMO:
Apesar do sucesso de algoritmos evolutivos e baseados em enxames em diferentes áreas de aplicação, estes algoritmos são muito sensíveis aos seus parâmetros. De acordo com o teorema “não existe almoço grátis”, não existe configuração para um determinado algoritmo que funcione melhor para todos os problemas possíveis. Assim, faz-se necessário encontrar uma configuração de parâmetro que maximize o desempenho de uma dada metaheurística em um problema específico. No entanto, o ajuste manual de parâmetros para algoritmos evolutivos e baseados em enxames pode ser muito difícil e exigir muito tempo. Portanto, automatizar essa tarefa tem sido um dos maiores e mais importantes desafios da área.
Métodos out-of-the-box de controle de parâmetros são técnicas que ajustam dinamicamente os parâmetros de uma metaheurística durante sua execução e podem ser aplicados a qualquer parâmetro, metaheurística e problema de otimização. Poucos estudos sobre métodos de controle de parâmetros out-of-the-box podem ser encontrados na literatura, e a maioria deles aplica algoritmos de aprendizagem por reforço para treinar políticas de controle de parâmetros eficazes. Embora esses estudos tenham apresentado resultados muito interessantes e promissores, o problema do controle de parâmetros para metaheurísticas está longe de ser resolvido. Algumas lacunas importantes foram identificadas na literatura da área, a saber: (1) Métodos de treinamento de políticas de controle de parâmetros baseados em aprendizagem por reforço podem demandar muito esforço computacional e tempo de execução. (2) Algoritmos de aprendizagem por reforço geralmente requerem o ajuste de vários hiperparâmetros, o que dificulta seu uso com sucesso. Além disso, a busca por uma política ótima pode ser muito instável. (3) Benchmark experimentais muito limitados foram usados para avaliar a generalidade dos métodos out-of-the-box, o que limita a avaliação da generalidade dos métodos propostos. A fim de preencher tais lacunas, o objetivo principal deste trabalho é propor um método de treinamento de política out-of-the-box para controle de parâmetros de algoritmos evolucionários e baseados em enxames mono-objetivos utilizando aprendizagem por reforço distribuída.
A fim de avaliar sua generalidade, o método proposto foi testado em um benchmark experimental abrangente com 133 cenários com 5 metaheurísticas diferentes, resolvendo vários problemas de otimização contínua, binários e de otimização combinatória. A escalabilidade da arquitetura proposta também foi avaliada. Além disso, foi realizada uma análise dos hiperparâmetros do método proposto. Os resultados experimentais mostraram que as três lacunas acima mencionadas foram satisfatoriamente preenchidas pelo método proposto, além de alguns outros avanços secundários na área.”
Palavras-chave: inteligência de enxame, computação evolutiva, reforço aprendizagem, controle de parâmetro.
Comentários desativados