Buchumschlag

Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Hao, Zhang, Zecheng, Liao, Wenjing, Schaeffer, Hayden
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

LeMON: Learning to Learn Multi-Operator Networks
von: Sun, Jingmin, et al.
Veröffentlicht: (2024)

A Deep Learning Framework for Multi-Operator Learning: Architectures and Approximation Theory
von: Weihs, Adrien, et al.
Veröffentlicht: (2025)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)

Complexity of One-Dimensional ReLU DNNs
von: Kogan, Jonathan, et al.
Veröffentlicht: (2025)

Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
von: Lee, Hyungu, et al.
Veröffentlicht: (2025)

Coefficient-to-Basis Network: A Fine-Tunable Operator Learning Framework for Inverse Problems with Adaptive Discretizations and Theoretical Guarantees
von: Zhang, Zecheng, et al.
Veröffentlicht: (2025)

On the Local Complexity of Linear Regions in Deep ReLU Networks
von: Patel, Niket, et al.
Veröffentlicht: (2024)

Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
von: Vallin, Jonatan, et al.
Veröffentlicht: (2024)

Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
von: Zhang, Shijun, et al.
Veröffentlicht: (2023)

Geometry-induced Regularization in Deep ReLU Neural Networks
von: Bona-Pellissier, Joachim, et al.
Veröffentlicht: (2024)

DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning
von: Zhang, Zecheng, et al.
Veröffentlicht: (2024)

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Why ReLU? A Bit-Model Dichotomy for Deep Network Training
von: Doron-Arad, Ilan, et al.
Veröffentlicht: (2026)

Pathwise Explanation of ReLU Neural Networks
von: Lim, Seongwoo, et al.
Veröffentlicht: (2025)

Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
von: He, Juncai, et al.
Veröffentlicht: (2023)

Convexity in ReLU Neural Networks: beyond ICNNs?
von: Gagneux, Anne, et al.
Veröffentlicht: (2025)

Component-based Sketching for Deep ReLU Nets
von: Wang, Di, et al.
Veröffentlicht: (2024)

Beyond ReLU: Chebyshev-DQN for Enhanced Deep Q-Networks
von: Yazdannik, Saman, et al.
Veröffentlicht: (2025)

Sobolev Approximation of Deep ReLU Networks in Log-Barron Space
von: Song, Changhoon, et al.
Veröffentlicht: (2026)

Stochastic Bandits with ReLU Neural Networks
von: Xu, Kan, et al.
Veröffentlicht: (2024)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Topological Expressivity of ReLU Neural Networks
von: Ergen, Ekin, et al.
Veröffentlicht: (2023)

Deep ReLU Networks Have Surprisingly Simple Polytopes
von: Fan, Feng-Lei, et al.
Veröffentlicht: (2023)

Complexity of Linear Regions in Self-supervised Deep ReLU Networks
von: Muthivhi, Mufhumudzi, et al.
Veröffentlicht: (2026)

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
von: Dinh, Vu C., et al.
Veröffentlicht: (2024)

Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation
von: Sun, Jingmin, et al.
Veröffentlicht: (2024)

Sufficient Conditions for Stability of Minimum-Norm Interpolating Deep ReLU Networks
von: Harzli, Ouns El, et al.
Veröffentlicht: (2026)

Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds
von: Sridhar, Anupama, et al.
Veröffentlicht: (2025)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)

Dense ReLU Neural Networks for Temporal-spatial Model
von: Padilla, Carlos Misael Madrid, et al.
Veröffentlicht: (2024)

Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
von: Li, Yuanfan, et al.
Veröffentlicht: (2025)

Random ReLU Neural Networks as Non-Gaussian Processes
von: Parhi, Rahul, et al.
Veröffentlicht: (2024)

The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)

Complexity of Injectivity and Verification of ReLU Neural Networks
von: Froese, Vincent, et al.
Veröffentlicht: (2024)

Some Super-approximation Rates of ReLU Neural Networks for Korobov Functions
von: Li, Yuwen, et al.
Veröffentlicht: (2025)

On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth
von: Averkov, Gennadiy, et al.
Veröffentlicht: (2025)

The Effects of Multi-Task Learning on ReLU Neural Network Functions
von: Nakhleh, Julia, et al.
Veröffentlicht: (2024)

Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks
von: Chen, Wenlin, et al.
Veröffentlicht: (2023)