English
Ciência_Iscte
Publicações
Descrição Detalhada da Publicação
Título Revista
SIAM Journal on Mathematics of Data Science
Ano (publicação definitiva)
2025
Língua
Inglês
País
Estados Unidos da América
Mais Informação
Web of Science®
Scopus
Google Scholar
Esta publicação não está indexada no Overton
Abstract/Resumo
The Neural tangent kernel (NTK) has emerged as a fundamental concept in the study of wide neural networks. In particular, it is known that the positivity of the NTK is directly related to the memorization capacity of sufficiently wide networks, i.e., to the possibility of reaching zero loss in training via gradient descent. Here we will improve on previous works and obtain a sharp result concerning the positivity of the NTK of feedforward networks of any depth. More precisely, we will show that, for any nonpolynomial activation function, the NTK is strictly positive definite. Our results are based on a novel characterization of polynomial functions, which is of independent interest.
Agradecimentos/Acknowledgements
--
Palavras-chave
Wide neural networks,Neural tangent kernel,Memorization,Global minima
Classificação Fields of Science and Technology
- Matemáticas - Ciências Naturais
Registos de financiamentos
| Referência de financiamento | Entidade Financiadora |
|---|---|
| UIDB/04459/2020 | Fundação para a Ciência e a Tecnologia |
| UIDP/04459/2020 | Fundação para a Ciência e a Tecnologia |
