Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.212
Aluna: Karolayne Teixeira da Silva
Orientador: Prof. Tsang Ing Ren
Título: SignWriting para Reconhecimento de Gestos em Língua de Sinais
Data: 25/07/2025
Hora/Local: 9h – Auditório do CIn – Bloco B
Banca Examinadora:
Prof. George Darmiton da Cunha Cavalcanti (UFPE / Centro de Informática)
Prof. Alceu de Souza Britto Jr (PUC-PR / Programa de Pós Graduação Em Informática Aplicada)
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
RESUMO:
O reconhecimento automático de gestos é essencial para promover a comunicação inclusiva, sobretudo junto às comunidades Surdas. Entretanto, persistem desafios significativos em função da diversidade linguística das línguas de sinais e das limitações das abordagens convencionais, as quais tipicamente exigem grandes conjuntos de dados rotulados e apresentam baixo potencial de generalização entre diferentes idiomas, comprometendo a escalabilidade e aplicabilidade prática. Neste contexto, este trabalho propõe a utilização do SignWriting, um sistema padronizado de notação visual que codifica gestos de forma independente do idioma, como alternativa para um reconhecimento universal de gestos. A metodologia emprega o MediaPipe para extração automática de marcos anatômicos das mãos, seguida de técnicas de normalização espacial e aumento sintético de dados a fim de mitigar variabilidades individuais e ambientais. O modelo foi avaliado em 16 conjuntos de dados distintos, abrangendo 132 classes de gestos provenientes de múltiplas regiões e línguas de sinais. Os resultados obtidos indicam robustez na generalização inter-linguagens, corroborando o potencial do SignWriting como ferramenta unificadora. Adicionalmente, análises de sensibilidade evidenciaram a influência dos erros de detecção de marcos sobre o desempenho do classificador, apontando direções para futuras melhorias. Todos os artefatos digitais encontram-se disponíveis no repositório público <https://github.com/karo-txs/signwriting-recognition>.
Palavras-chave: Reconhecimento de Gestos; SignWriting; Aprendizado Profundo; Aumento de Dados
Comentários desativados