Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº 2.141
Aluno: Vitor Maciel Fontes Jacques
Orientador: Prof. Fernando José Castor de Lima Filho
Título: Machine Learning Efficiency on iOS: Comparing CoreML, Tensorflow
and Pytorch
Data: 29/04/2024
Hora/Local: 13h – Virtual – Interessados em Assistir entrar em contato com o aluno
Banca Examinadora:
Prof. Kiev Santos da Gama (UFPE / Centro de Informática)
Prof. Lisane Brisolara de Brisolara (UFPel / Centro de Desenvolvimento Tecnológico)
Prof. Fernando José Castor de Lima Filho (UFPE / Centro de Informática)
RESUMO:
À medida que a aprendizagem de máquina continua a estabelecer sua presença em plataformas móveis, surge a necessidade de avaliar o uso de recursos dos modelos em uma variedade de dispositivos e frameworks. Neste artigo, medimos o desempenho e o uso da bateria na inferência de três modelos de aprendizagem de máquina: MobileNetV2, Res-Net50 e BERT QA, ao empregar diferentes frameworks de aprendizagem profunda (Co-reML, TensorFlow e PyTorch), dispositivos iOS (iPhone 8 Plus, iPhone 11 Pro e iPad Air4) e configurações de threading. Ao longo do nosso estudo, avaliamos as métricas-chave: uso da bateria, duração da inferência e taxas de precisão. Nossas descobertas desafiam algumas crenças; por exemplo, um aumento na contagem de threads nem sempre garante uma execução de modelo mais rápida, mesmo quando havia núcleos disponíveis na CPU. Da mesma forma, um tempo de inferência rápido nem sempre era sinônimo de maior eficiência energética. Além disso, nosso estudo mostra que não existe o melhor framework para todos os casos. O CoreML é mais eficiente em termos de energia que MobileNetV2 e ResNet50, mas às vezes é mais lento, especialmente em dispositivos mais antigos. O TensorFlow Lite se destaca em energia e desempenho quando utilizado no BERT QA, mesmo em hardware mais recente. Embora o multithreading geralmente ajude, seus be- nefícios são limitados, especialmente para CoreML utilizando mais do que duas threads. Estes resultados enfatizam a necessidade de adaptar implementações de aprendizagem de máquina para características de hardware e modelo, indicando, ainda, a necessidade de melhoria nos frameworks existentes.
Palavras-chaves: eficiência energética, performance, aprendizagem profunda, CoreML, Tensorflow, Pytorch, iOS.
Comentários desativados