Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.179
Aluno: Pedro Kempter Brant
Orientadora: Profa. Veronica Teichrieb
Coorientador: Prof. Lucas Silva Figueiredo (UFRPE)
Título: Gaze Preservation on Artificially Generated Faces for Privacy Compliance
Data: 18/12/2024
Hora/Local: 8h:30m – Anfiteatro
Banca Examinadora:
Prof. Divanilson Rodrigo Campelo (UFPE / Centro de Informática)
Prof. Thales Miranda de Almeida Vieira (UFAL / Instituto de Computação )
Prof. Lucas Silva Figueiredo (UFRPE / Departamento de Computação)
RESUMO:
Muitos geradores de face são baseados em técnicas como GANs (Generative Adversarial Networks) ou modelos de difusão, que podem criar artificialmente rostos humanos realistas e de aparência natural. Estas técnicas têm um grande potencial para a privacidade, pois podem substituir os identificadores biométricos de alguém. No entanto, ao substituir o rosto, grande parte da utilidade da imagem, como estimar a direção do olhar, também pode ser perdida.
Embora a estimativa do olhar seja crucial em algumas aplicações, como no monitoramento do motorista ou de pedestres em cenários automotivos, a literatura sobre geradores de faces não possui métricas ou benchmarks relacionados a esse assunto. Desenvolvemos o MetaGaze, um conjunto de dados com quase 70.000 imagens de 30 rostos sintéticos de modelos de pessoas disponíveis no MetaHuman, na plataforma Unreal. Analisamos duas técnicas populares de geração de rosto, DeepPrivacy2 e GANonymization, usando nosso conjunto de dados, MetaGaze, e um conjunto de dados de direção de olhar no contexto veicular, DMD, junto com um estimador de olhar , L2CS, para medir a preservação do olhar. Aplicamos duas estratégias para melhorar a preservação do olhar: modificamos a entrada condicional da técnica base e fizemos fine-tuning no modelo do GANonimização, adicionando nosso conjunto de dados ao treinamento para aumentar a diversidade de ângulos de olhar disponíveis no conjunto de treinamento. Nossos experimentos demonstraram que o fine-tuning com MetaGaze reduziu o erro absoluto médio na preservação do olhar de 10.8∘ graus para 7.9∘ graus em pitch e de 6.4∘ graus para 5.9∘ graus em yaw em comparação com o modelo original de GANonymização.
Além disso, indicamos que os cenários mais desafiadores para a preservação do olhar são ângulos de câmera acima de 10∘ graus, direções do olhar acima de 30∘ graus, FOV de 60∘ graus e olhos semicerrados.
Palavras-chave: Anonimização facial. Privacidade. GANs. Estimativa de olhar
Comentários desativados