Buchumschlag

Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Takeuchi, Jun'ichi, Takeishi, Yoshinari, Murata, Noboru, Mimura, Kazushi, Ho, Ka Long Keith, Nagaoka, Hiroshi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information
von: Ho, Ka Long Keith, et al.
Veröffentlicht: (2025)

Risk Bounds on MDL Estimators for Linear Regression Models with Application to Simple ReLU Neural Networks
von: Takeishi, Yoshinari, et al.
Veröffentlicht: (2024)

Sparse Superposition Codes with Binomial Dictionary are Capacity-Achieving with Maximum Likelihood Decoding
von: Takeishi, Yoshinari, et al.
Veröffentlicht: (2025)

On the Principles of ReLU Networks with One Hidden Layer
von: Huang, Changcun
Veröffentlicht: (2024)

Hidden Minima in Two-Layer ReLU Networks
von: Arjevani, Yossi
Veröffentlicht: (2023)

Dynamical Properties of Dense Associative Memory
von: Mimura, Kazushi, et al.
Veröffentlicht: (2025)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
von: Holzmüller, David, et al.
Veröffentlicht: (2025)

The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)

Deep ReLU Networks Have Surprisingly Simple Polytopes
von: Fan, Feng-Lei, et al.
Veröffentlicht: (2023)

The Fisher metric as a metric on the cotangent bundle
von: Nagaoka, Hiroshi
Veröffentlicht: (2023)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Weighted variation spaces and approximation by shallow ReLU networks
von: DeVore, Ronald, et al.
Veröffentlicht: (2023)

Is ReLU Adversarially Robust?
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)

ReLU Networks as Random Functions: Their Distribution in Probability Space
von: Chaudhari, Shreyas, et al.
Veröffentlicht: (2025)

Random ReLU Neural Networks as Non-Gaussian Processes
von: Parhi, Rahul, et al.
Veröffentlicht: (2024)

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
von: Dinh, Vu C., et al.
Veröffentlicht: (2024)

Injectivity capacity of ReLU gates
von: Stojnic, Mihailo
Veröffentlicht: (2024)

Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
von: Romijnders, Rob, et al.
Veröffentlicht: (2024)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
von: Qiu, Qi, et al.
Veröffentlicht: (2024)

Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)

Constraining the outputs of ReLU neural networks
von: Alexandr, Yulia, et al.
Veröffentlicht: (2025)

Complexity of One-Dimensional ReLU DNNs
von: Kogan, Jonathan, et al.
Veröffentlicht: (2025)

The Symmetries of Three-Layer ReLU Networks
von: Gegenfurtner, Johanna Marie, et al.
Veröffentlicht: (2026)

Topological Expressivity of ReLU Neural Networks
von: Ergen, Ekin, et al.
Veröffentlicht: (2023)

Stochastic Bandits with ReLU Neural Networks
von: Xu, Kan, et al.
Veröffentlicht: (2024)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

Toric geometry of ReLU neural networks
von: Fu, Yaoying
Veröffentlicht: (2025)

The Optimal Condition Number for ReLU Function
von: Xia, Yu, et al.
Veröffentlicht: (2025)

Three Quantization Regimes for ReLU Networks
von: Ou, Weigutian, et al.
Veröffentlicht: (2024)

Integral Quadratic Constraints for Repeated ReLU
von: Noori, Sahel Vahedi, et al.
Veröffentlicht: (2026)

Pathwise Explanation of ReLU Neural Networks
von: Lim, Seongwoo, et al.
Veröffentlicht: (2025)

On the algorithmic construction of deep ReLU networks
von: Huybrechs, Daan
Veröffentlicht: (2025)

Symmetric Matrix Completion with ReLU Sampling
von: Liu, Huikang, et al.
Veröffentlicht: (2024)

Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks
von: Baturin, Saveliy
Veröffentlicht: (2026)

Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
von: Awiakye-Marfo, George, et al.
Veröffentlicht: (2026)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)

Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)