Defesa de Pós-Graduação em Ciência da Computação – UFPE
Aluno: Kelvin Batista da Cunha
Orientadora: Profa. Veronica Teichrieb
Coorientador: Prof. Francisco Paulo Magalhães Simões
Título: CAD-less domain adaptation using randomized knowledge for monocular 6DoF pose estimation on cross-device scenarios
Data: 06/06/2024
Hora/Local: 20h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
Prof. Silvio de Barros Melo (UFPE / Centro de Informática)
Prof. Hideaki Uchiyama (Nara Institute of Science and Technology / Cybernetics and Reality Engineering)
Prof. Péricles Barbosa Cunha de Miranda (UFRPE / Departamento de Computação)
Prof. Luiz José Schirmer Silva (UNISINOS / Pós-Graduação em Computação Aplicada)
RESUMO:
A pose 6DoF (seis graus de liberdade) de objetos rígidos é fundamental na resolução de várias tarefas em visão computacional, facilitando a interação entre elementos físicos e virtuais. Avanços recentes na estimativa de pose utilizando machine learning melhoraram significativamente a precisão destas soluções, particularmente por meio de aprendizagem profunda (DL). Os modelos DL são adeptos na identificação e extração de detalhes relevantes nas cenas, capacitando-os a discernir e se adaptar a diversos cenários com eficiência. As metodologias de DL demonstram versatilidade excepcional, capazes de assimilar diversos tipos de entradas. Em especial, podemos destacar a capacidade destes algoritmos em obter dados de objetos exclusivamente a partir de entradas RGB, ajustando modelos que exibem desempenho em tempo real em um amplo espectro de dispositivos. Esta capacidade não apenas simplifica os requisitos computacionais, mas também amplia a aplicabilidade de tais modelos em ambientes do mundo real. No entanto, estes modelos muitas vezes requerem grandes conjuntos de dados, adaptados a distribuições específicas. Adquirir, anotar e manter esses conjuntos de dados não é apenas caro e demorado, mas também suscetível a imprecisões, falhando no encapsulamento completo do domínio de aplicação. Nossos estudos iniciais analisaram o impacto das mudanças de distribuição na estimativa de pose 6DoF, revelando a dependência dos modelos aos dados de treinamento e sua suscetibilidade aos desafios da cena (generalização para o conjunto de testes). Variações raramente encontradas durante o treinamento, como mudanças na aparência do objeto (por exemplo, tamanho, cor, geometria), condições de ambiente (por exemplo, iluminação, velocidade de movimento, oclusão) e hardware da câmera (ou seja, quando o modelo é treinado com uma câmera, mas testado em outra), podem afetar drasticamente a precisão do modelo. Para enfrentar esse desafio, propomos um pipeline que gera uma diversidade de sequências de imagens sintéticas usando modelos CAD dos objetos. Ao randomizar os elementos da cena em cada quadro, mesmo que as condições pareçam incoerentes ou surrealistas, podemos treinar modelos supervisionados usando dados simulados, reduzindo assim a dependência de dados reais rotulados e permitindo a adaptação contínua na distribuição alvo. Além disso, ampliamos nosso pipeline introduzindo uma nova estratégia baseada em geração sintética e fotorrealista para mitigar variações de domínio dentro da estimativa de pose monocular. Aproveitando uma combinação de técnicas de reconstrução NeRF (Neural Radiance Fields) e randomização de domínio, nossa abordagem demonstra a viabilidade de obter modelos precisos de estimativa de pose com dependência reduzida aos dados reais. Por fim, propomos um pipeline de estimativa de pose 6DoF CAD-less com randomização para rastreamento de objetos, integrando nossa arquitetura de detecção com um modelo de optical flow. Experimentos em conjuntos de dados disponíveis publicamente, incluindo linemod, linemod-Occlusion, 3DPO e HomebrewedDB, indicam a validade de nossa abordagem em comparação com técnicas do estado-da-arte. Enfatizar o impacto da randomização para lidar com os desafios associados às variações de domínio, como mudanças na iluminação ambiental, desfoque de movimento e oclusão de objetos, ressalta a importância de nossas contribuições.
Palavras-chave: Estimação de pose. Detecção de Objetos. Randomização de Domínio.
Comentários desativados