Comunicação em evento científico
Beyond Downstream Accuracy: A Multi-Axis Framework for Evaluating Synthetic EEG in Seizure Detection
Vanda Barata (Vanda Barata); Ana de Almeida (de Almeida, A.); Luís Nunes (Nunes, Luis);
Título Evento
EPIA Conference on Artificial Intelligence (EPIA 2026)
Ano (publicação definitiva)
2026
Língua
Inglês
País
Portugal
Mais Informação
--
Web of Science®

Esta publicação não está indexada na Web of Science®

Scopus

Esta publicação não está indexada na Scopus

Google Scholar

Esta publicação não está indexada no Google Scholar

Esta publicação não está indexada no Overton

Abstract/Resumo
Seizures are rare events in electroencephalogram (EEG) recordings, and clinical data are scarce and hard to access, making it difficult to train reliable classifiers. Synthetic data augmentation is increasingly used to address this, yet most studies evaluate generators using only utility metrics like accuracy or F1 score, without validating the generated data itself. Such metrics may be misleading under extreme class imbalance and do not assess whether synthetic signals are physiologically plausible or clinically relevant. This paper proposes a multi-axis evaluation framework that evaluates synthetic EEG beyond utility alone, across four complementary dimensions: (1)fidelity, the degree to which generated signals preserve spectral, temporal, and spatial structure; (2)discriminability, how easily a classifier can distinguish real from synthetic data; (3)utility, measured by per-patient Area Under the Precision-Recall Curve (AUPRC) and sensitivity at 95\% specificity, ideally under leave-one-patient-out cross-validation; and (4) privacy, the extent to which generators memorise subject-specific patterns and whether augmentation reduces or amplifies the detector's reliance on patient identity. We apply the framework to three generators (TimeGAN, Conditional Variational Autoencoder, and Latent Diffusion Model) on the CHB-MIT dataset, evaluating only three of the four axes due to computational constraints. We show that even three axes reveal failure modes invisible to utility metrics alone - the generator with the most uniform spectral fidelity does not improve detection, while one with better fidelity in seizure-relevant bands does. Only the joint assessment across axes explains why and correctly identifies which generator yields a meaningful improvement.
Agradecimentos/Acknowledgements
This work was partially supported by national funds through Funda\c{c}\~{a}o para a Ci\^{e}ncia e a Tecnologia, I.P. (FCT), ISTAR-Iscte Pluriannual Projects UID/04466/2025 (https://doi.org/10.54499/UID/04466/2025)
Palavras-chave
EEG,Epileptic seizure,Anomaly detection,Synthetic data,Time-series,Deep generative models
  • Ciências da Computação e da Informação - Ciências Naturais
  • Ciências da Saúde - Ciências Médicas

Com o objetivo de aumentar a investigação direcionada para o cumprimento dos Objetivos do Desenvolvimento Sustentável para 2030 das Nações Unidas, é disponibilizada no Ciência_Iscte a possibilidade de associação, quando aplicável, dos artigos científicos aos Objetivos do Desenvolvimento Sustentável. Estes são os Objetivos do Desenvolvimento Sustentável identificados pelo(s) autor(es) para esta publicação. Para uma informação detalhada dos Objetivos do Desenvolvimento Sustentável, clique aqui.