Buchumschlag

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Hyungu, Kim, Taehyeong, Choi, Hayoung
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improved identification of breakpoints in piecewise regression and its applications
von: Kim, Taehyeong, et al.
Veröffentlicht: (2024)

Pathwise Explanation of ReLU Neural Networks
von: Lim, Seongwoo, et al.
Veröffentlicht: (2025)

Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2024)

Beyond Gaussian Initializations: Signal Preserving Weight Initialization for Odd-Sigmoid Activations
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2025)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Optimal Initialization in Depth: Lyapunov Initialization and Limit Theorems for Deep Leaky ReLU Networks
von: Kogler, Constantin, et al.
Veröffentlicht: (2026)

Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization
von: Jakub, Cameron, et al.
Veröffentlicht: (2023)

Convexity in ReLU Neural Networks: beyond ICNNs?
von: Gagneux, Anne, et al.
Veröffentlicht: (2025)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

Stochastic Bandits with ReLU Neural Networks
von: Xu, Kan, et al.
Veröffentlicht: (2024)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)

Topological Expressivity of ReLU Neural Networks
von: Ergen, Ekin, et al.
Veröffentlicht: (2023)

Early Neuron Alignment in Two-layer ReLU Networks with Small Initialization
von: Min, Hancheng, et al.
Veröffentlicht: (2023)

On the Local Complexity of Linear Regions in Deep ReLU Networks
von: Patel, Niket, et al.
Veröffentlicht: (2024)

Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
von: Vallin, Jonatan, et al.
Veröffentlicht: (2024)

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
von: Dinh, Vu C., et al.
Veröffentlicht: (2024)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)

Detecting Invariant Manifolds in ReLU-Based RNNs
von: Eisenmann, Lukas, et al.
Veröffentlicht: (2025)

Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
von: Liu, Hao, et al.
Veröffentlicht: (2024)

Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

Geometry-induced Regularization in Deep ReLU Neural Networks
von: Bona-Pellissier, Joachim, et al.
Veröffentlicht: (2024)

Random ReLU Neural Networks as Non-Gaussian Processes
von: Parhi, Rahul, et al.
Veröffentlicht: (2024)

The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)

Complexity of Injectivity and Verification of ReLU Neural Networks
von: Froese, Vincent, et al.
Veröffentlicht: (2024)

Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights
von: Takeuchi, Jun'ichi, et al.
Veröffentlicht: (2025)

Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
von: Zhang, Shijun, et al.
Veröffentlicht: (2023)

On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth
von: Averkov, Gennadiy, et al.
Veröffentlicht: (2025)

Dense ReLU Neural Networks for Temporal-spatial Model
von: Padilla, Carlos Misael Madrid, et al.
Veröffentlicht: (2024)

Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks
von: Chen, Wenlin, et al.
Veröffentlicht: (2023)

The Effects of Multi-Task Learning on ReLU Neural Network Functions
von: Nakhleh, Julia, et al.
Veröffentlicht: (2024)

Activation-Descent Regularization for Input Optimization of ReLU Networks
von: Yu, Hongzhan, et al.
Veröffentlicht: (2024)

Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time
von: Kim, Sungyoon, et al.
Veröffentlicht: (2024)

Geometry of Singular Foliations and Learning Manifolds in ReLU Networks via the Data Information Matrix
von: Tron, Eliot, et al.
Veröffentlicht: (2024)

From Tempered to Benign Overfitting in ReLU Neural Networks
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

On the Depth of Monotone ReLU Neural Networks and ICNNs
von: Bakaev, Egor, et al.
Veröffentlicht: (2025)

Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
von: He, Juncai, et al.
Veröffentlicht: (2023)

Weighted variation spaces and approximation by shallow ReLU networks
von: DeVore, Ronald, et al.
Veröffentlicht: (2023)

Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks
von: Sohn, Jy-yong, et al.
Veröffentlicht: (2024)

ReLU integral probability metric and its applications
von: Park, Yuha, et al.
Veröffentlicht: (2025)