Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 609
Aluno: Ygor César Nogueira Sousa
Orientador: Prof. Hansenclever de França Bassani
Título: A New Approach to Semantic Mapping Using Reusable Consolidated Visual Representations
Data: 28/08/2023
Hora/Local: 08:30 – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Profa. Edna Natividade da Silva Barros (UFPE / Centro de Informática)
Prof. Aluizio Fausto Ribeiro Araujo (UFPE / Centro de Informática)
Prof. Adiel Teixeira de Almeida Filho (UFPE / Centro de Informática)
Prof. Douglas Guimarães Macharet (UFMG / Departamento de Ciência da Computação)
Prof. João Fausto Lorenzato de Oliveira (UPE / Escola Politécnica de PE)
RESUMO:
O avanço da robótica pode produzir um impacto positivo em vários aspectos da nossa sociedade. No entanto, para que os agentes robóticos auxiliem os seres humanos em uma variedade de atividades cotidianas, eles precisam possuir representações de seus ambientes que permitam a compreensão espacial e semântica centrada em seres humanos. Muitos trabalhos na literatura recente usam Redes Neurais Convolucionais (CNN, do inglês Convolutional Neural Network) para reconhecer propriedades semânticas de imagens e incorporam os resultados em mapas métricos ou topológicos tradicionais, um procedimento conhecido como mapeamento semântico. Os tipos de propriedades semânticas (ex: tamanho do cômodo, categoria do lugar e objetos) e as classes semânticas (ex: cozinha e banheiro, para categoria de lugar) geralmente são previamente definidos e restritos a tarefas planejadas. Assim, todos os dados visuais adquiridos e processados durante a construção dos mapas são perdidos, restando apenas as propriedades semânticas reconhecidas nos mapas. Em contraste, esta pesquisa propõe usar os dados visuais adquiridos durante o processo de mapeamento para criar representações reutilizáveis de regiões pela consolidação de características visuais profundas extraídas dos dados. Essas representações consolidadas permitiriam o reconhecimento de novas informações semânticas de forma flexível e, consequentemente, a adaptação da semântica dos mapas a novos requisitos de novas tarefas. O uso de representações consolidadas reutilizáveis para a geração de mapas semânticos é demonstrado em um método de mapeamento topológico que cria representações consolidadas de características visuais profundas extraídas de imagens RGB capturadas em torno de cada nó topológico. Isso é feito usando um processo que denominamos como Consolidação de Características por Médias Móveis (CMA, do inglês Features Consolidation by Moving Averages). Experimentos realizados com conjuntos de dados internos do mundo real sugeriram que o método proposto é capaz de criar representações consolidadas que preservam as características visuais das imagens originais consolidadas e não degradam a qualidade ao longo do tempo. Os resultados promissores também sugeriram que as representações consolidadas produzidas são adequadas para reconhecer diferentes propriedades semânticas, identificar a localização topológica de imagens e adaptar mapas previamente criados com novas informações semânticas. Os experimentos incluíram duas CNNs diferentes para extração de características profundas, classificadores treinados em conjuntos de dados de larga escala da literatura e cenários mais práticos com execução em tempo real. Diferentes variações do método foram avaliadas, incluindo uma derivação do processo CMA que usa a média aritmética de múltiplas médias móveis exponenciais.
Palavras-chave: Mapeamento Semântico Topológico, Aprendizagem Profunda para Percepção Visual, Aprendizagem de Representações, Consolidação de Características Visuais, Aprendizagem por Transferência, Robótica Móvel.
Comentários desativados