Artigo em revista científica Q1
Efficiency and scalability of Multi-Lane Capsule Networks (MLCN)
Vanderson Martins do Rosario (Rosario, V. M. Do); Maurício Breternitz (Breternitz, M.); Edson Borin (Borin, E.);
Título Revista
Journal of Parallel and Distributed Computing
Ano (publicação definitiva)
2021
Língua
Inglês
País
Países Baixos (Holanda)
Mais Informação
Web of Science®

N.º de citações: 3

(Última verificação: 2024-11-19 23:36)

Ver o registo na Web of Science®


: 0.3
Scopus

N.º de citações: 3

(Última verificação: 2024-11-19 03:25)

Ver o registo na Scopus


: 0.2
Google Scholar

N.º de citações: 13

(Última verificação: 2024-11-18 15:54)

Ver o registo no Google Scholar

Abstract/Resumo
Some Deep Neural Networks (DNN) have what we call lanes, or they can be reorganized as such. Lanes are paths in the network which are data-independent and typically learn different features or add resilience to the network. Given their data-independence, lanes are amenable for parallel processing. The Multi-lane CapsNet (MLCN) is a proposed reorganization of the Capsule Network which is shown to achieve better accuracy while bringing highly-parallel lanes. However, the efficiency and scalability of MLCN had not been systematically examined. In this work, we study the MLCN network with multiple GPUs finding that it is 2x more efficient than the original CapsNet when using model-parallelism. We introduce the load balancing problem of distributing heterogeneous lanes in homogeneous or heterogeneous accelerators and show that a simple greedy heuristic can be almost 50% faster than a naïve random approach. Further, we show that we can generate MLCN models with heterogeneous lanes with a balanced fit for a given set of devices. We describe a Neural Architectural Search generating MLCN models matching the device's memory that are load balanced. This search discovered models with 18.6% better accuracy for CIFAR-10.
Agradecimentos/Acknowledgements
--
Palavras-chave
Deep learning,Multi-lane,Capsule network
  • Ciências da Computação e da Informação - Ciências Naturais
Registos de financiamentos
Referência de financiamento Entidade Financiadora
UIDB/04466/2020 Fundação para a Ciência e a Tecnologia

Com o objetivo de aumentar a investigação direcionada para o cumprimento dos Objetivos do Desenvolvimento Sustentável para 2030 das Nações Unidas, é disponibilizada no Ciência-IUL a possibilidade de associação, quando aplicável, dos artigos científicos aos Objetivos do Desenvolvimento Sustentável. Estes são os Objetivos do Desenvolvimento Sustentável identificados pelo(s) autor(es) para esta publicação. Para uma informação detalhada dos Objetivos do Desenvolvimento Sustentável, clique aqui.