Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 668
Aluno: Talles Brito Viana
Orientador: Prof. Adriano Lorena Inacio de Oliveira
Coorientador: Prof. Rafael Menelau Oliveira e Cruz (École de Technologie Supérieure)
Título: Robust Handwritten Signature Representation with Multi-task Continual Learning of Synthetic Data over Predefined Real Feature Space and Contrastive Fine-Tuning
Data: 16/04/2025
Hora/Local: 13h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Francisco de Assis Tenório de Carvalho (UFPE / Centro de Informática)
Prof. George Darmiton da Cunha Cavalcanti (UFPE / Centro de Informática)
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
Prof. George Gomes Cabral (UFRPE / DC)
Prof. Moisés Díaz Cabrera (Universidad de Las Palmas de Gran Canaria)
RESUMO:
Apesar dos recentes avanços em visão computacional, o clássico problema de verificação de assinaturas manuscritas offline ainda permanece desafiador. A tarefa de verificação de assinaturas possui uma alta variabilidade intraclasse pois um usuário frequentemente apresenta alta variabilidade entre suas amostras. Além disso, a verificação de assinaturas é mais difícil na presença de falsificações habilidosas. Recentemente, com o objetivo de enfrentar esses desafios, pesquisadores têm investigado métodos de aprendizagem profunda para obter representações de características de assinaturas manuscritas. Ao mapear assinaturas para um espaço de características, deseja-se obter grupos densos de representações de assinaturas, a fim de lidar com a variabilidade intraclasse. Além disso, não apenas grupos densos são necessários, mas também uma melhor separação entre grupos de diferentes usuários no espaço de características. Por fim, também deseja-se afastar as representações de características de falsificações habilidosas em relação ao respectivo grupo denso de representações genuínas. Nesta tese, concentramos nossos esforços em alcançar essas propriedades no aprendizado de representações de assinaturas manuscritas, visando melhorias subsequentes no tempo de verificação. A pesquisa relatada nesta tese é desenvolvida em dois momentos. Inicialmente, propomos um framework baseado no aprendizado contrastivo de representações de assinaturas manuscritas. Com base na observação dos resultados experimentais da primeira parte desta pesquisa, estendemos este framework para lidar com dados de assinaturas sintéticas e reais durante o treinamento por meio da destilação de conhecimento, proporcionando maior robustez das representações aprendidas na verificação de diversos conjuntos de dados. Neste trabalho, levanta-se a hipótese de que as propriedades desejadas podem ser alcançadas por meio de uma estrutura multitarefa para aprender representações de características de assinaturas manuscritas com base em aprendizagem contrastiva profunda. A estrutura proposta é composta por duas tarefas de objetivos específicos. A primeira tarefa visa mapear exemplos de assinaturas do mesmo usuário mais próximo dentro do espaço de representação, enquanto separa as representações de características de assinaturas de diferentes usuários. A segunda tarefa visa ajustar as representações de falsificações habilidosas adotando funções de perda contrastivas com a capacidade de realizar mineração de exemplos negativos difíceis. Negativos difíceis são exemplos de diferentes classes com algum grau de similaridade que podem ser aplicados durante o treinamento. Demonstramos que nossos modelos multitarefa contrastivos têm melhor desempenho do que o uso da função de perda de entropia cruzada, o que indica experimentalmente um aprimoramento na verificação de assinaturas fornecida pela estrutura proposta. Como resultados bem-sucedidos em modelos de aprendizagem profunda exigem uma quantidade significativa de dados de treinamento, nesses experimentos recorremos ao conjunto de dados GPDSsynthetic com dados de assinaturas sintéticas para treinar modelos. No entanto, como resultado de observação experimental, verificamos que as características intrínsecas de assinaturas genuínas reais não estão perfeitamente incorporadas nas imagens de assinatura sintética. Dessa forma, encontramos uma diferença no desempenho de verificação entre modelos treinados usando os conjuntos de dados GPDS-960 e GPDSsynthetic; e efeitos indesejados introduzidos pelo desvio excessivo da distribuição dos modelos para qualquer uma destas fontes de dados. Dado este problema, na segunda parte desta tese recorremos ao modelo SigNet pré-treinado com dados da GPDS-960 para fornecer conhecimento sobre assinaturas reais. Complementamos o espaço de características de dados reais predefinidos na SigNet usando dados sintéticos, minimizando a divergência na distribuição entre os conjuntos de dados. Isso é obtido por meio de aprendizado contínuo incremental de classe com base na destilação de conhecimento e ajuste fino subsequente do espaço de representação com um objetivo contrastivo. Além disso, propomos um novo conjunto de dados de destilação, invertido a partir da distribuição real pré-codificada na SigNet. Nosso método proposto obtém verificação dependente de escritor aprimorada e uma verificação independente de escritor mais equilibrada, produzindo modelos mais robustos na verificação dos diversos conjuntos de dados de script ocidental e não ocidental GPDSsynthetic, GPDS-300, CEDAR, MCYT-75, BHSig-H e BHSig-B. Por fim, demonstramos que o método proposto pode ser utilizado para melhorar a verificação de assinaturas no treinamento de novas arquiteturas de visão computacional quando o acesso ao conjunto de dados GPDS-960 não estiver disponível.
Palavras-chave: Verificação de assinaturas. Redes neurais convolucionais. Aprendizagem de características. Aprendizagem profunda. Aprendizagem contrastiva. Aprendizagem contínua. Destilação de conhecimento.
Comentários desativados