Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 721
Aluno: Iago Richard Rodrigues Silva
Orientador: Prof. Djamel Fawzi Hadj Sadok
Título: Efficient Segmentation-Based Safety-Centric Visual Perception and Forecasting in Human–Robot Collaboration Using Multi-View RGB Data and ELM-Guided Structured Pruning
Data: 15/10/2026
Hora/Local: 14h
Banca:
Prof. Aluizio Fausto Ribeiro Araújo
Prof. Flávio Arthur Oliveira Santos
Prof. Byron Leite Dantas Bezerra (UPE / Escola Politécnica de Pernambuco)
Prof. Glauco Estácio Gonçalves (UFPA/ Instituto de Tecnologia)
Prof. Anthony Jose da Cunha Carneiro Lins (UNICAP / Escola de Tecnologia e Comunicação)
RESUMO:
A colaboração humano–robô (HRC) requer sistemas de percepção capazes de representar as relações espaciais em evolução entre humanos e robôs, mantendo simultaneamente viabilidade computacional para monitoramento contínuo. Entretanto, o desenvolvimento de percepção visual centrada em segurança é limitado pela disponibilidade restrita de benchmarks que forneçam conjuntamente observações RGB multivista reais, anotações densas de humanos e robôs, continuidade temporal e supervisão orientada à segurança, bem como por estratégias de avaliação que frequentemente tratam segmentação semântica, raciocínio temporal e compressão de modelos como problemas isolados. Esta tese aborda essas limitações por meio de um framework multivista integrado para percepção visual eficiente e centrada em segurança, apoiado pelo Safety-Centric Multi-View HRC Dataset (MIRC) e por compressão de modelos orientada à tarefa. O MIRC compreende 180 rotinas colaborativas, 23.816 índices multivista anotados e 95.264 imagens anotadas em nível de vista, adquiridas a partir de quatro pontos de vista RGB alinhados temporalmente, sob regimes de interação com uma única pessoa e com múltiplas pessoas. O conjunto de dados fornece máscaras semânticas densas para background, human e robot, juntamente com rótulos operacionais temporalmente alinhados para safety, risk e collision. A partir dessa base empírica, o framework proposto processa as quatro vistas por meio de um modelo compartilhado de segmentação semântica, transforma as máscaras específicas de cada vista em descritores geométricos, concatena esses descritores segundo uma ordem fixa das câmeras e organiza as representações multivista resultantes em janelas temporais de observação para previsão sequência-a-sequência de condições futuras de segurança. A eficiência computacional é abordada por meio de poda estruturada orientada à tarefa e guiada por ELM, na qual Extreme Learning Machines relacionam ativações convolucionais intermediárias a alvos derivados da segmentação para estimar a relevância dos filtros antes de sua remoção estrutural com preservação de dependências. Formulações ELM global, por camada e por filtro são avaliadas sob condições equivalentes e comparadas com baselines de poda estruturada baseada em magnitude e aleatória. Os experimentos de segmentação densa alcançaram os melhores valores de Macro Dice e Macro IoU de (0.9755) e (0.9540), respectivamente, no subconjunto com uma única pessoa, e de (0.9771) e (0.9568) no subconjunto com múltiplas pessoas. A representação multivista derivada das máscaras também possibilitou a previsão temporal em todas as configurações avaliadas. A configuração de melhor desempenho, com janela de observação (W=15) e horizonte de previsão (H=5) posições anotadas, atingiu Accuracy e Weighted-F1 de (0.943) no subconjunto com uma única pessoa e (0.772) no subconjunto com múltiplas pessoas, enquanto o desempenho da previsão foi afetado mais fortemente pelo horizonte de previsão do que pelo comprimento da janela de observação. Entre as estratégias de poda, a ELM-layerwise apresentou o comportamento mais consistente de retenção da qualidade de segmentação. No ponto operacional selecionado de (60%) de poda-alvo, essa estratégia superou os baselines equivalentes baseados em magnitude e aleatoriedade na retenção de Macro IoU, IoU de humano e IoU de robô em ambos os subconjuntos, além de produzir reduções estatisticamente significativas na latência em CPU. A avaliação downstream mostrou que essa compressão introduz uma perda pequena, porém sistemática, preservando a maior parte da utilidade temporal da representação densa: na condição representativa (W=30), (H=30), as reduções médias de Accuracy e Weighted-F1 variaram de (0.0022) a (0.0047), enquanto a retenção média do desempenho de previsão em toda a grade temporal permaneceu acima de (99%), com retenção mínima observada superior a (98.8%). Esses resultados sustentam a tese central de que a percepção visual eficiente e centrada em segurança para HRC deve ser projetada e avaliada como uma cadeia integrada de percepção multivista–representação–previsão–compressão, combinando qualidade semântica, eficiência computacional medida e preservação da utilidade temporal downstream.
Palavras-chave: Colaboração humano–robô. Percepção visual multivista. Previsão temporal de segurança. Poda estruturada orientada à tarefa.
Comentários desativados