Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.297
Aluno: Felipe Jun Ting Lin
Orientador: Prof. Luciano de Andrade Barbosa
Título: Test-Time Scaling for Biomedical Claim Verification with Small
Language Models
Data: 27/07/2026
Hora/Local: 9h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Tsang Ing Ren (UFPE / Centro de Informática)
Prof. Rafael Ferreira Leite de Mello (UFRPE / Departamento de Computação)
Prof. Luciano de Andrade Barbosa (UFPE / Centro de Informática)
RESUMO:
Na verificação de afirmações biomédicas, Pequenos Modelos de Linguagem (SLMs) na faixa de 7B a 14B parâmetros constituem uma alternativa prática a LLMs de fronteira como o Gemini, com menor custo de hospedagem e de inferência por chamada, embora sua acurácia seja sensível ao design do prompt e à forma como cadeias de raciocínio são agregadas em tempo de inferência. Estendemos o SciCheck, uma receita recente de SLMs ajustados (fine-tuned) baseada em Llama-3.1-8B e Qwen-2.5-14B, sem treinamento adicional. Essas extensões são a evolução reflexiva de prompts com GEPA e um módulo de inferência de Raciocínio Multi-Cadeia (MCR) cujos prompts de geração e comparação são otimizados conjuntamente. O MCR same-model executa o gerador e o comparador no mesmo SLM, enquanto o MCR cross-model executa cada um em SLMs distintos. Avaliamos os pipelines resultantes em HealthFC, SciFact e CoVERT com evidências da web, contra quatro baselines cobrindo Gemini 2.5 Flash em zero-shot, Step-by-Step Verification e SciCheck aplicado tanto a Llama-3.1-8B quanto a Qwen-2.5-14B. Nas seis células (dataset, métrica) considerando F1 macro e Binary-F1, nossos pipelines obtêm os seis máximos por coluna. Esses resultados mostram que nossa abordagem iguala ou supera baselines baseados em LLMs de fronteira para verificação de afirmações biomédicas, sem treinamento adicional e a uma fração do custo de inferência por afirmação.
Palavras-chave: verificação biomédica de fatos, raciocínio multi-cadeia, otimização de prompts, pequenos modelos de linguagem
Comentários desativados