Buchumschlag

A rationale from frequency perspective for grokking in training neural network

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Zhangchen, Zhang, Yaoyu, Xu, Zhi-Qin John
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Neural and Evolutionary Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A developmental approach for training deep belief networks
von: Zambra, Matteo, et al.
Veröffentlicht: (2022)

Universality of reservoir systems with recurrent neural networks
von: Yasumoto, Hiroki, et al.
Veröffentlicht: (2024)

Gated recurrent neural networks discover attention
von: Zucchet, Nicolas, et al.
Veröffentlicht: (2023)

Learning fast changing slow in spiking neural networks
von: Capone, Cristiano, et al.
Veröffentlicht: (2024)

Designing deep neural networks for driver intention recognition
von: Vellenga, Koen, et al.
Veröffentlicht: (2024)

Learning richness modulates equality reasoning in neural networks
von: Tong, William L., et al.
Veröffentlicht: (2025)

Investigating the generative dynamics of energy-based neural networks
von: Tausani, Lorenzo, et al.
Veröffentlicht: (2023)

Emergent representations in networks trained with the Forward-Forward algorithm
von: Tosato, Niccolò, et al.
Veröffentlicht: (2023)

Hypercomplex neural network in time series forecasting of stock data
von: Kycia, Radosław, et al.
Veröffentlicht: (2024)

Optimal feature rescaling in machine learning based on neural networks
von: Vitrò, Federico Maria, et al.
Veröffentlicht: (2024)

Three factor delay learning rules for spiking neural networks
von: Vassallo, Luke, et al.
Veröffentlicht: (2026)

Improved weight initialization for deep and narrow feedforward neural network
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2023)

Spike-based computation using classical recurrent neural networks
von: De Geeter, Florent, et al.
Veröffentlicht: (2023)

Flexible inference for animal learning rules using neural networks
von: Liu, Yuhan Helena, et al.
Veröffentlicht: (2025)

The late-stage training dynamics of (stochastic) subgradient descent on homogeneous neural networks
von: Schechtman, Sholom, et al.
Veröffentlicht: (2025)

Gradient-based inference of abstract task representations for generalization in neural networks
von: Hummos, Ali, et al.
Veröffentlicht: (2024)

Application-oriented automatic hyperparameter optimization for spiking neural network prototyping
von: Fra, Vittorio
Veröffentlicht: (2025)

Fast gradient-free activation maximization for neurons in spiking neural networks
von: Pospelov, Nikita, et al.
Veröffentlicht: (2023)

Prototype-based interpretation of the functionality of neurons in winner-take-all neural networks
von: Sabzevar, Ramin Zarei, et al.
Veröffentlicht: (2020)

Iteration over event space in time-to-first-spike spiking neural networks for Twitter bot classification
von: Pabian, Mateusz, et al.
Veröffentlicht: (2024)

Banach neural operator for Navier-Stokes equations
von: Zhang, Bo
Veröffentlicht: (2025)

Provably robust learning of regression neural networks using $β$-divergences
von: Ghosh, Abhik, et al.
Veröffentlicht: (2026)

Differentiable architecture search with multi-dimensional attention for spiking neural networks
von: Man, Yilei, et al.
Veröffentlicht: (2024)

Decoding finger velocity from cortical spike trains with recurrent spiking neural networks
von: Liu, Tengjun, et al.
Veröffentlicht: (2024)

The boundary of neural network trainability is fractal
von: Sohl-Dickstein, Jascha
Veröffentlicht: (2024)

Continual learning with the neural tangent ensemble
von: Benjamin, Ari S., et al.
Veröffentlicht: (2024)

Reconsidering the energy efficiency of spiking neural networks
von: Yan, Zhanglu, et al.
Veröffentlicht: (2024)

BrainNPT: Pre-training of Transformer networks for brain network classification
von: Hu, Jinlong, et al.
Veröffentlicht: (2023)

Physics of Learning: A Lagrangian perspective to different learning paradigms
von: Guo, Siyuan, et al.
Veröffentlicht: (2025)

Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia
von: Pan, Haining, et al.
Veröffentlicht: (2026)

Interpolating neural network: A novel unification of machine learning and interpolation theory
von: Park, Chanwook, et al.
Veröffentlicht: (2024)

Activation degree thresholds and expressiveness of polynomial neural networks
von: Finkel, Bella, et al.
Veröffentlicht: (2024)

Method for noise-induced regularization in quantum neural networks
von: Kuzmin, Viacheslav, et al.
Veröffentlicht: (2024)

Experimental verification of the quantum nature of a neural network
von: Patrascu, Andrei T.
Veröffentlicht: (2022)

Sufficient conditions for offline reactivation in recurrent neural networks
von: Krishna, Nanda H., et al.
Veröffentlicht: (2025)

Measurement-driven neural-network training for integrated magnetic tunnel junction arrays
von: Borders, William A., et al.
Veröffentlicht: (2023)

Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics
von: Shetty, Sanjana
Veröffentlicht: (2024)

Neuromorphic on-chip reservoir computing with spiking neural network architectures
von: Karki, Samip, et al.
Veröffentlicht: (2024)

An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters
von: Keisler, Julie, et al.
Veröffentlicht: (2023)

Gate-level boolean evolutionary geometric attention neural networks
von: Shi, Xianshuai, et al.
Veröffentlicht: (2025)