Artigo em revista científica Q1
Deep learning in time series forecasting with transformer models and RNNs
Dos Santos, Rogerio Pereira (Dos Santos, R. P. ); Matos-Carvalho, João P. (Matos-Carvalho, J.); Valderi Leithardt (Leithardt, V.);
Título Revista
PeerJ Computer Science
Ano (publicação definitiva)
2025
Língua
Inglês
País
Estados Unidos da América
Mais Informação
Web of Science®

N.º de citações: 0

(Última verificação: 2025-12-03 11:07)

Ver o registo na Web of Science®

Scopus

Esta publicação não está indexada na Scopus

Google Scholar

N.º de citações: 1

(Última verificação: 2025-11-30 01:51)

Ver o registo no Google Scholar

Esta publicação não está indexada no Overton

Abstract/Resumo
Given the increasing need for accurate weather forecasts, the use of neural networks, especially transformer and recurrent neural networks (RNNs), has been highlighted for their ability to capture complex patterns in time series. This study examined 14 neural network models applied to forecast weather variables, evaluated using metrics such as median absolute error (MedianAbsE), mean absolute error (MeanAbsE), maximum absolute error (MaxAbsE), root mean squared percent error (RMSPE), and root mean square error (RMSE). Transformer-based models such as Informer, iTransformer, Former, and patch time series transformer (PatchTST) stood out for their accuracy in capturing long-term patterns, with Informer showing the best performance. In contrast, RNN models such as auto-temporal convolutional networks (TCN) and bidirectional TCN (BiTCN) were better suited to short-term forecasting, despite being more prone to significant errors. Using iTransformer it was possible to achieve a MedianAbsE of 1.21, MeanAbsE of 1.24, MaxAbsE of 2.86, RMSPE de 0.66, and RMSE de 1.43. This study demonstrates the potential of neural networks, especially transformers, to improve accuracy, providing a practical and theoretical basis for selecting the most suitable models for predictive applications.
Agradecimentos/Acknowledgements
--
Palavras-chave
Deep learning,Neural networks,Recurrent neural networks (RNNs),Transformer models,Predictive applications,Accuracy in forecasting
  • Ciências da Computação e da Informação - Ciências Naturais
  • Outras Engenharias e Tecnologias - Engenharia e Tecnologia
  • Engenharia Eletrotécnica, Eletrónica e Informática - Engenharia e Tecnologia
Registos de financiamentos
Referência de financiamento Entidade Financiadora
101183162 European Union’s Horizon-MSCA-2023-SE-01 Programme
UID/00408/2025 Fundação para a Ciência e a Tecnologia

Com o objetivo de aumentar a investigação direcionada para o cumprimento dos Objetivos do Desenvolvimento Sustentável para 2030 das Nações Unidas, é disponibilizada no Ciência_Iscte a possibilidade de associação, quando aplicável, dos artigos científicos aos Objetivos do Desenvolvimento Sustentável. Estes são os Objetivos do Desenvolvimento Sustentável identificados pelo(s) autor(es) para esta publicação. Para uma informação detalhada dos Objetivos do Desenvolvimento Sustentável, clique aqui.