Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.253


Aluno: Nayse da Silva Fagundes
Orientador: Prof. Leopoldo Motta Teixeira
Título: Evaluating LLMs for Multimodal GUI Test Generation in Android 
Applications
Data: 10/12/2025
Hora/Local: 09:00 – Virtual – Interessados em assistir entrar em contato com a aluna
Banca Examinadora:
Profa. Paola Rodrigues de Godoy Accioly  (UFPE / Centro de Informática)
Prof. Rohit Gheyi   (UFCG / Departamento de Sistemas e Computação)
Prof. Leopoldo Motta Teixeira  (UFPE / Centro de Informática)


RESUMO:

O teste de Interface Gráfica do Usuário (GUI) constitui uma etapa fundamental no desenvolvimento de aplicativos móveis, garantindo que a interface de qualquer aplicação se comporte corretamente e atenda às expectativas dos usuários. No entanto, quando realizado manualmente, o teste de GUI permanece uma tarefa demorada. Com a ascensão dos Modelos de Larga Escala (LLMs), cresce o interesse em analisar seu potencial para automatizar atividades de desenvolvimento de software, incluindo a geração de testes GUI. Este estudo investiga a capacidade dos LLMs de produzir casos de teste de GUI e scripts para aplicativos Android a partir de entradas multimodais, como screenshots e dados estruturados da interface do usuário, que fornecem informações visuais e semânticas sobre a interface. Este trabalho apresenta uma abordagem que integra essas informações provenientes de aplicações Android open-source, avaliando o desempenho de quatro LLMs, incluindo três modelos proprietários e um modelo open-source. Os resultados evidenciam diferenças significativas entre os modelos na geração de testes de GUI e scripts executáveis. De modo geral, os modelos demonstram capacidade para apoiar atividades de teste, oferecendo benefícios distintos conforme o modelo, reforçando o potencial de LLMs multimodais para reduzir o esforço manual e aumentar a produtividade na criação de testes de aplicações móveis.

Palavras-chave: GUI; Testes; LLMs; Dispositivos Móveis.

Comentários desativados

Sobre este site

Portal institucional do Centro de Informática – UFPE

Encontre-nos

Endereço
Av. Jornalista Aníbal Fernandes, s/n – Cidade Universitária.
Recife-PE – Brasil
CEP: 50.740-560

Horário
Segunda–Sexta: 8:00–18:00