Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº1.956
Aluno: João Victor Campos Moraes Orientador: Prof. Ricardo Bastos Cavalcante Prudêncio Co-orientador: Prof. Telmo de Menezes e Silva Filho (Departamento de Estatística/UFPB)
Título: Γ-IRT: An Item Response Theory Model for Evaluating Regression  Algorithms Data: 09/03/2021
Hora/Local: 14h - Vrtual
Banca Examinadora:
Profa. Renata Maria Cardoso Rodrigues de Souza (UFPE / Centro de Informática)
Prof. Gisele Lobo Pappa (UFMG / Departamento de Ciência da Computação)
Prof. Telmo de Menezes e Silva Filho (UFPB / Departamento de Estatística
RESUMO:
A Teoria de Resposta ao Item (IRT) é usada para medir as habilidades latentes de humanos

entrevistados com base em suas respostas a itens com diferentes dificuldades

níveis. Recentemente, o IRT foi aplicado à avaliação de algoritmos em

Inteligência Artificial (IA), tratando os algoritmos como respondentes e

as tarefas de IA como itens. Os modelos mais comuns em IRT lidam apenas com

respostas dicotômicas (ou seja, uma resposta deve ser correta ou

incorreta). Portanto, eles não são adequados em contextos de aplicação onde

as respostas são registradas em escala contínua. Neste artigo, propomos o

Modelo Γ-IRT, especialmente projetado para lidar com positivo ilimitado

respostas, que modelamos usando uma distribuição Gamma, parametrizada

de acordo com a habilidade do respondente e dificuldade e discriminação do item

parâmetros. A parametrização proposta resulta na característica do item

curvas com formas mais flexíveis em comparação com a logística tradicional

curvas adotadas no IRT. Aplicamos o modelo proposto para avaliar a regressão

habilidades do modelo, em que as respostas são os erros absolutos nas instâncias de teste.

Este novo aplicativo representa uma alternativa para avaliar a regressão

desempenho e para identificar regiões em um conjunto de dados de regressão que

apresentam diferentes níveis de dificuldade e discriminação.


Palavras-chave: Teoria da resposta ao item,; Tarefas de regressão; Aprendizado de máquina; Avaliação

Comentários desativados