Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 560
Aluno: David Lopes de Macêdo
Orientadora: Profa. Teresa Bernarda Ludermir
Coorientador: Prof. Cleber Zanchettin
Título: Towards Robust Deep Learning using Entropic Losses
Data: 27/06/2022
Hora/Local: 14h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Adriano Lorena Inácio de Oliveira (UFPE / Centro de Informática)
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
Prof. Ricardo Matsumura de Araújo (UFPel / Centro de Desenvolvimento
Tecnológico)
Prof. Byron Leite Dantas Bezerra (UPE / Escola Politécnica de Pernambuco)
Prof. João Fausto Lorenzato de Oliveira (UPE / Escola Politécnica de Pernambuco)
RESUMO:
Apesar das conquistas teóricas e resultados práticos encorajadores, o aprendizado profundo ainda apresenta limitações em muitas áreas, como raciocínio, inferência causal, interpretabilidade e explicabilidade. Do ponto de vista da aplicação, uma das restrições mais impactantes está relacionada à robustez desses sistemas. De fato, as soluções atuais de aprendizado profundo são bem conhecidas por não informar se podem classificar um exemplo de maneira confiável durante a inferência. As redes neurais modernas geralmente são superconfiantes, mesmo quando estão erradas. Portanto, construir aplicativos robustos de aprendizado profundo é atualmente um tópico de pesquisa de ponta em visão computacional, processamento de linguagem natural e muitas outras áreas. Uma das maneiras mais eficazes de construir soluções de aprendizado profundo mais confiáveis é melhorar seu desempenho na chamada tarefa de detecção fora de distribuição, que consiste essencialmente em “saber que você não sabe” ou “conhecer o desconhecido”. Em outras palavras, sistemas com capacidade de detecção fora de distribuição podem rejeitar a realização de uma classificação sem sentido quando submetidos a instâncias de classes nas quais a rede neural não foi treinada. Esta tese aborda a desafiadora tarefa de detecção fora da distribuição, propondo novas funções de perda e pontuações de detecção. A estimativa de incerteza também é uma tarefa auxiliar crucial na construção de sistemas de aprendizado profundo mais robustos. Portanto, tratamos também dessa tarefa relacionada à robustez, que avalia quão realistas são as probabilidades apresentadas pela rede neural profunda. Para demonstrar a eficácia de nossa abordagem, além de um conjunto substancial de experimentos, que incluí resultados estado-da-arte, utilizamos argumentos baseados no princípio da máxima entropia para estabelecer a fundamentação teórica das abordagens propostas. Ao contrário da maioria dos métodos atuais, além de apresentarem inferência rápida e eficiente, nossas perdas e pontuações são soluções baseadas em princípios e não produzem efeitos colaterais indesejados. Além disso, nossas abordagens podem ser incorporadas em projetos atuais e futuros simplesmente substituindo a perda usada para treinar a rede neural profunda e computando uma pontuação rápida para detecção.
Palavras-chave: Aprendizado Profundo Robusto, Detecção de Fora da Distribuição, Estimação de Incerteza, Perda de Maximização de Isotropia, Perda de Maximização de Isotropia Melhorada, Perda de Maximização de Distinção, Princípio da Entropia Máxima.
Comentários desativados