Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.308
Aluno: Thifany Ketuli Silva de Souza
Orientadora: Profa. Veronica Teichrieb
Coorientador: Pesq. Willams de Lima Costa (VOXAR Laboratório)
Título: A diagnostic study of ambiguity and hard samples in multimodal
multitask driver monitoring systems
Data: 31/07/2026
Hora/Local: 9h30 – Anfiteatro
Banca Examinadora:
Prof. Filipe Carlos de Albuquerque Calegario (UFPE / CIn)
Prof. Estefanía Talavera Martinez (University of Twente / Faculty of
Electrical Engineering, Mathematics and Computer Science )
Prof. Cristina Bustos (Universitat Oberta de Catalunya/eHealth Centre: Research for Human and Planetary Health (UOC-eHealth)
Pesq . Willams de Lima Costa (VOXAR Laboratório)
RESUMO:
Esta dissertação investiga como a dinâmica de treinamento em monitoramento multimodal de motoristas no interior do veículo é afetada pela ambiguidade. O estudo utiliza a MMTL-UniAD como arquitetura de diagnóstico no dataset AIDE, considerando quatro tarefas de reconhecimento: reconhecimento de emoção do motorista, reconhecimento de comportamento do motorista, reconhecimento do contexto de tráfego e reconhecimento da condição do veículo. Nesse cenário, a cartografia de datasets é aplicada como uma abordagem diagnóstica para analisar a confiança, a variabilidade e a corretude das amostras ao longo das épocas de treinamento, mapeando os casos em regiões fáceis de aprender, difíceis de aprender e ambíguas. Os resultados mostraram que o reconhecimento do contexto de tráfego apresentou o comportamento de aprendizado mais estável ao longo dos experimentos propostos. Por outro lado, as tarefas centradas no motorista foram mais afetadas pela observabilidade visual limitada, por sobreposições semânticas, pela dependência temporal e pelo desbalanceamento de classes. A análise que propôs um limiar extremo de 10% não resultou em nenhuma amostra de reconhecimento de emoção ou de comportamento do motorista classificada como fácil de aprender, enquanto o reconhecimento do contexto de tráfego produziu o grupo mais claro de amostras estáveis. A análise de sobreposição entre tarefas também mostrou que nenhuma amostra foi fácil de aprender em todas as quatro tarefas simultaneamente e que 86,84% das amostras não foram classificadas como fáceis de aprender em nenhuma das tarefas abaixo do limiar de 25%. Os resultados deste trabalho indicam que a dificuldade das amostras deve ser tratada mais como parte da evidência multimodal, da tarefa de reconhecimento e do rótulo-alvo do que como uma propriedade global da entrada. Portanto, a cartografia de datasets complementa as métricas tradicionais ao expor regiões de estabilidade, ambiguidade e falhas sistemáticas que permanecem parcialmente ocultas nas medidas de desempenho agregadas..
Palavras-chave: Monitoramento de motoristas. Aprendizagem multimodal. Aprendizagem multitarefa. Cartografia de datasets. Ambiguidade comportamental. Amostras difíceis.
Comentários desativados