Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 603
Aluno: Jayr Alencar Pereira
Orientador: Prof. Robson do Nascimento Fidalgo
Coorientador: Prof. Cleber Zanchettin
Título: A Method for Adapting Large Language Models for Communication Card
Prediction in Augmentative and Alternative Communication Systems
Data: 18/07/2023
Hora/Local: 13h – Virtual – Interessados em assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Geber Lisboa Ramalho (UFPE / Centro de Informática)
Prof. Adriano Lorena Inacio de Oliveira (UFPE / Centro de Informática)
Prof. Filipe Carlos de Albuquerque Calegario (UFPE / Centro de Informática)
Prof. Rodrigo Frassetto Nogueira (UNICAMP / Faculdade de Engenharia Elétrica
e de Computação)
Prof. André Carlos Ponce de Leon Ferreira de Carvalho (USP / Instituto de Ciências Matemáticas e de Computação)
RESUMO:
Os sistemas de Comunicação Aumentativa e Alternativa (CAA) auxiliam indivíduos com necessidades complexas de comunicação a se expressarem. Um recurso comum em CAA é o uso de cartões de comunicação, onde o usuário seleciona cartões e os organiza em sequência para formar uma frase. No entanto, o número limitado de cartões exibidos e a necessidade de navegar por várias páginas ou pastas podem dificultar a construção de mensagesn. Para superar essas barreiras, vários métodos foram propostos, como organização de vocabulário, sistemas de codificação de cores, planejamento motor e modelos preditivos. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina mostraram potencial para melhorar a acessibilidade e a personalização dos sistemas de CAA. Este estudo propõe um método para adaptar modelos de linguagem para predição de cartões de comunicação em sistemas de CAA para facilitar a elaboração de mensagens. O método proposto envolve três etapas principais: 1) adaptar um corpus de texto ao domínio da CAA, convertendo-o em um corpus de frases telegráficas ou incorporando recursos que permitem a exploração de pistas visuais; 2) ajustar um modelo de linguagem baseado em transformers usando o corpus adaptado; e 3) substituir os pesos do decodificador do modelo de linguagem por uma representação codificada do vocabulário do usuário para gerar uma distribuição de probabilidade sobre os itens de vocabulário do usuário durante a inferência. O método proposto aproveita que modelos de linguagem baseados em transformers, como o Bidirectional Encoder Representations from Transformers (BERT), compartilham os pesos da camada de embeddings de entrada com o decodificador no cabeçalho de modelagem de linguagem. Portanto, o método pode ser usado sem treinamento adicional para a predição de cartões de comunicação. O método foi avaliado em Língua Inglesa e Língua Portuguesa do Brasil usando configurações zero-shot e few-shot, em que um pequeno corpus de texto foi usado para o ajuste fino. Além disso, foi avaliado o impacto da incorporação de recursos adicionais nas frases de treinamento, rotulando-as com a estrutura do Colourful Semantics. Resultados mostram que o método proposto supera modelos pré-treinados e que a inclusão de Colourful Semantics melhora a precisão da predição de cartões. O método utiliza a transferência de aprendizado de modelos de linguagem baseados em transformers para facilitar a construção de mensagens em sistemas de CAA.
Palavras-chave: Augmentative and Alternative Communication. Message
authoring. Sentence construction. Pictogram prediction. Colourful Semantics.
Comentários desativados