Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº1.956
Aluno: João Victor Campos Moraes Orientador: Prof. Ricardo Bastos Cavalcante Prudêncio Co-orientador: Prof. Telmo de Menezes e Silva Filho (Departamento de Estatística/UFPB)
Título: Γ-IRT: An Item Response Theory Model for Evaluating Regression Algorithms Data: 09/03/2021
Hora/Local: 14h - Vrtual
Banca Examinadora:
Profa. Renata Maria Cardoso Rodrigues de Souza (UFPE / Centro de Informática)
Prof. Gisele Lobo Pappa (UFMG / Departamento de Ciência da Computação)
Prof. Telmo de Menezes e Silva Filho (UFPB / Departamento de Estatística
RESUMO:
A Teoria de Resposta ao Item (IRT) é usada para medir as habilidades latentes de humanos
entrevistados com base em suas respostas a itens com diferentes dificuldades
níveis. Recentemente, o IRT foi aplicado à avaliação de algoritmos em
Inteligência Artificial (IA), tratando os algoritmos como respondentes e
as tarefas de IA como itens. Os modelos mais comuns em IRT lidam apenas com
respostas dicotômicas (ou seja, uma resposta deve ser correta ou
incorreta). Portanto, eles não são adequados em contextos de aplicação onde
as respostas são registradas em escala contínua. Neste artigo, propomos o
Modelo Γ-IRT, especialmente projetado para lidar com positivo ilimitado
respostas, que modelamos usando uma distribuição Gamma, parametrizada
de acordo com a habilidade do respondente e dificuldade e discriminação do item
parâmetros. A parametrização proposta resulta na característica do item
curvas com formas mais flexíveis em comparação com a logística tradicional
curvas adotadas no IRT. Aplicamos o modelo proposto para avaliar a regressão
habilidades do modelo, em que as respostas são os erros absolutos nas instâncias de teste.
Este novo aplicativo representa uma alternativa para avaliar a regressão
desempenho e para identificar regiões em um conjunto de dados de regressão que
apresentam diferentes níveis de dificuldade e discriminação.
Palavras-chave: Teoria da resposta ao item,; Tarefas de regressão; Aprendizado de máquina; Avaliação
Comentários desativados