Buchumschlag

Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shang, Shuning, Meng, Xuran, Cao, Yuan, Zou, Difan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Benign Overfitting for Regression with Trained Two-Layer ReLU Networks
von: Park, Junhyung, et al.
Veröffentlicht: (2024)

From Tempered to Benign Overfitting in ReLU Neural Networks
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

Hidden Minima in Two-Layer ReLU Networks
von: Arjevani, Yossi
Veröffentlicht: (2023)

Training a Two Layer ReLU Network Analytically
von: Barbu, Adrian
Veröffentlicht: (2023)

Convex Formulations for Training Two-Layer ReLU Neural Networks
von: Prakhya, Karthik, et al.
Veröffentlicht: (2024)

Rethinking Benign Overfitting in Two-Layer Neural Networks
von: Xu, Ruichen, et al.
Veröffentlicht: (2025)

Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks
von: Hashimoto, Ichiro
Veröffentlicht: (2025)

The Symmetries of Three-Layer ReLU Networks
von: Gegenfurtner, Johanna Marie, et al.
Veröffentlicht: (2026)

Benign Overfitting in Single-Head Attention
von: Magen, Roey, et al.
Veröffentlicht: (2024)

Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks
von: Collins, Liam, et al.
Veröffentlicht: (2023)

Benign overfitting in leaky ReLU networks with moderate input dimension
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2024)

Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
von: Romijnders, Rob, et al.
Veröffentlicht: (2024)

Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
von: Melamed, Odelia, et al.
Veröffentlicht: (2025)

Early Neuron Alignment in Two-layer ReLU Networks with Small Initialization
von: Min, Hancheng, et al.
Veröffentlicht: (2023)

Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization
von: Jakub, Cameron, et al.
Veröffentlicht: (2023)

Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
von: Wild, Cody, et al.
Veröffentlicht: (2024)

Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions
von: Mishkin, Aaron, et al.
Veröffentlicht: (2022)

Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
von: Kuelbs, Daniel, et al.
Veröffentlicht: (2024)

Does Flatness imply Generalization for Logistic Loss in Univariate Two-Layer ReLU Network?
von: Qiao, Dan, et al.
Veröffentlicht: (2025)

Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
von: Yang, Yahong, et al.
Veröffentlicht: (2023)

Two-Dimensional Deep ReLU CNN Approximation for Korobov Functions: A Constructive Approach
von: Fang, Qin, et al.
Veröffentlicht: (2025)

ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
von: Wang, Ziteng, et al.
Veröffentlicht: (2024)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)

Component-based Sketching for Deep ReLU Nets
von: Wang, Di, et al.
Veröffentlicht: (2024)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)

Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes
von: Qiao, Dan, et al.
Veröffentlicht: (2024)

Asymptotic Smoothing of the Lipschitz Loss Landscape in Overparameterized One-Hidden-Layer ReLU Networks
von: Baturin, Saveliy
Veröffentlicht: (2026)

ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models
von: Parkinson, Suzanna, et al.
Veröffentlicht: (2023)

DeepShare: Sharing ReLU Across Channels and Layers for Efficient Private Inference
von: Bornfeld, Yonathan, et al.
Veröffentlicht: (2025)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

On the Principles of ReLU Networks with One Hidden Layer
von: Huang, Changcun
Veröffentlicht: (2024)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

Nearly Optimal Differentially Private ReLU Regression
von: Ding, Meng, et al.
Veröffentlicht: (2025)

Optimal Initialization in Depth: Lyapunov Initialization and Limit Theorems for Deep Leaky ReLU Networks
von: Kogler, Constantin, et al.
Veröffentlicht: (2026)

Symmetric Matrix Completion with ReLU Sampling
von: Liu, Huikang, et al.
Veröffentlicht: (2024)

Complexity of One-Dimensional ReLU DNNs
von: Kogan, Jonathan, et al.
Veröffentlicht: (2025)

Two-hidden-layer ReLU neural networks and finite elements
von: Jin, Pengzhan
Veröffentlicht: (2024)

Is ReLU Adversarially Robust?
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)