Publicação em atas de evento científico
Pruning weightless neural networks
Zachary Susskind (Susskind, Z.); Alan T. L. Bacellar (Bacellar, A. T. L.); Aman Arora (Arora, A.); Luis A. Q. Villon (Villon, L. A. Q.); Renan Mendanha (Mendanha, R.); Leandro Santiago de Araújo (Araújo, L. S. de.); Diego Leonel Cadette Dutra (Dutra, D. L. C.); Priscila Lima (Lima, P. M. V.); Felipe Maia Galvão França (França, F. M. G.); Igor D. S. Miranda (Miranda, I. D. S.); Maurício Breternitz (Breternitz Jr., M.); Lizy K. John (John, L. K.); et al.
ESANN 2022 proceedings
Ano (publicação definitiva)
2022
Língua
Inglês
País
--
Mais Informação
Web of Science®

Esta publicação não está indexada na Web of Science®

Scopus

Esta publicação não está indexada na Scopus

Google Scholar

N.º de citações: 6

(Última verificação: 2024-11-02 13:33)

Ver o registo no Google Scholar

Abstract/Resumo
Weightless neural networks (WNNs) are a type of machine learning model which perform prediction using lookup tables (LUTs) instead of arithmetic operations. Recent advancements in WNNs have reduced model sizes and improved accuracies, reducing the gap in accuracy with deep neural networks (DNNs). Modern DNNs leverage “pruning” techniques to reduce model size, but this has not previously been explored for WNNs. We propose a WNN pruning strategy based on identifying and culling the LUTs which contribute least to overall model accuracy. We demonstrate an average 40% reduction in model size with at most 1% reduction in accuracy.
Agradecimentos/Acknowledgements
--
Palavras-chave
  • Ciências da Computação e da Informação - Ciências Naturais
Registos de financiamentos
Referência de financiamento Entidade Financiadora
3015.001/3016.00 Semiconductor Research Corporation
POCI-01-0247-FEDER-045912 FEDER
UIDP/04466/2020 Fundação para a Ciência e a Tecnologia
UIDB/04466/2020 Fundação para a Ciência e a Tecnologia
Projetos Relacionados

Esta publicação é um output do(s) seguinte(s) projeto(s):