Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.181
Aluno: Paulo de Oliveira Guedes
Orientadora: Profa. Veronica Teichrieb
Coorientador: Prof. Lucas Silva Figueiredo (UFRPE/Departamento de Computação)
Título: PersonalRAC: Personalized Few-shot Exercise Counting
Data: 20/12/2024
Hora/Local: 15:30 – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Sílvio de Barros Melo (UFPE / Centro de Informática)
Profa. Fátima de Lourdes dos Santos Nunes Marques (USP / Escola de Artes, Ciências e Humanidades)
Prof. Thales Miranda de Almeida Vieira (UFAL / Instituto de Computação)
Profa. Veronica Teichrieb (UFPE / Centro de Informática)
RESUMO:
A tarefa de Contagem de Ações Repetitivas (Repetitive Action Counting – RAC) é uma área de crescente interesse em pesquisas, com diversas tecnologias sendo desenvolvidas no campo. No entanto, os métodos existentes de ponta, treinados em datasets genéricos disponíveis atualmente, não são adequados para reconhecer movimentos personalizados. Essa capacidade tem o potencial de beneficiar áreas de aplicação como fisioterapia e fitness, permitindo a criação de exercícios únicos e personalizados para pacientes ou clientes e seu acompanhamento com mínimo esforço. Para abordar essa questão, introduzimos o sistema Personalized Repetition Action Count (PersonalRAC), um método inovador capaz de contar ações em cenários de dados escassos (ou seja, implementando uma abordagem de aprendizado com poucos exemplos – few-shot learning).O PersonalRAC integra Aprendizado com Poucos Exemplos (Few-shot Learning), Contagem de Ações Repetitivas e Reconhecimento de Ações baseadas em Esqueletos. Nosso sistema opera com um número mínimo de exemplos de treinamento em vídeos não cortados, identificando autonomamente os pontos de início e fim das ações, o que facilita o registro de novos exercícios de maneira prática. Para alcançar isso, utilizamos o conceito de poses salientes, anotando um subconjunto do dataset Fit3D para essa funcionalidade e propondo uma divisão para few-shot desse conjunto de dados.
O sistema processa vídeos de usuários realizando exercícios e extrai informações de esqueletos utilizando o MediaPipe. Essas informações são processadas para torná-las mais confiáveis para a próxima etapa. O modelo MotionBERT, especializado em detecção de ações, analisa as informações processadas, e a saída é encaminhada para um módulo de contagem de repetições. Os resultados experimentais demonstram a eficácia e robustez do sistema em contar repetições com precisão em diversos tipos de exercícios. Nosso sistema atinge um desempenho de ponta nos cenários few-shot e few-shot multi-câmera no dataset Fit3D, obtendo respectivamente um MAE de 0,33 (melhoria de 44,07%) e um OBO de 0,64, e um MAE de 0,22 (melhoria de 53,19%) e um OBO de 0,71.
Palavras-chave: Aprendizado de Máquina, Aprendizado Profundo, Aprendizado com Poucos exemplos, Telerreabilitação
Comentários desativados