Buchumschlag

Explicit and Implicit Graduated Optimization in Deep Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sato, Naoki, Iiduka, Hideaki
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
von: Sato, Naoki, et al.
Veröffentlicht: (2023)

Scaled Conjugate Gradient Method for Nonconvex Optimization in Deep Neural Networks
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
von: Sato, Naoki, et al.
Veröffentlicht: (2026)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Convergence Bound and Critical Batch Size of Muon Optimizer
von: Sato, Naoki, et al.
Veröffentlicht: (2025)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
von: Iiduka, Hideaki
Veröffentlicht: (2026)

Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
von: Tsukada, Yuki, et al.
Veröffentlicht: (2023)

Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
von: Imaizumi, Kento, et al.
Veröffentlicht: (2024)

Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
von: Kamo, Keisuke, et al.
Veröffentlicht: (2025)

Convergence Analysis of SGD under Expected Smoothness
von: Kawamoto, Yuta, et al.
Veröffentlicht: (2025)

Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis
von: Kondo, Yuichi, et al.
Veröffentlicht: (2025)

Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
von: Umeda, Hikaru, et al.
Veröffentlicht: (2024)

Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
von: Harada, Hinata, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Both Asymptotic and Non-Asymptotic Convergence of Quasi-Hyperbolic Momentum using Increasing Batch Size
von: Imaizumi, Kento, et al.
Veröffentlicht: (2025)

Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
von: Umeda, Hikaru, et al.
Veröffentlicht: (2025)

Explicit Preference Optimization: No Need for an Implicit Reward Model
von: Hu, Xiangkun, et al.
Veröffentlicht: (2025)

Mini-Batch Stochastic Halpern Algorithm for Nonexpansive Fixed point Problems
von: Iiduka, Hideaki
Veröffentlicht: (2026)

Mini-Batch Stochastic Krasnosel'ski\uı-Mann Algorithm for Nonexpansive Fixed Point Problems
von: Iiduka, Hideaki
Veröffentlicht: (2026)

Implicit Hypergraph Neural Network
von: Choudhuri, Akash, et al.
Veröffentlicht: (2025)

Implicit vs Unfolded Graph Neural Networks
von: Yang, Yongyi, et al.
Veröffentlicht: (2021)

Mathematics of Neural Networks (Lecture Notes Graduate Course)
von: Smets, Bart M. N.
Veröffentlicht: (2024)

Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization
von: Ruan, Tianyu, et al.
Veröffentlicht: (2025)

Efficient and Effective Implicit Dynamic Graph Neural Network
von: Zhong, Yongjian, et al.
Veröffentlicht: (2024)

Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Unveiling the Potential of Superexpressive Networks in Implicit Neural Representations
von: Mudiyanselage, Uvini Balasuriya, et al.
Veröffentlicht: (2025)

Implicit Generative Prior for Bayesian Neural Networks
von: Liu, Yijia, et al.
Veröffentlicht: (2024)

ERGNN: Spectral Graph Neural Network With Explicitly-Optimized Rational Graph Filters
von: Li, Guoming, et al.
Veröffentlicht: (2024)

Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence
von: de Frutos, José Manuel, et al.
Veröffentlicht: (2025)

Exact Gauss-Newton Optimization for Training Deep Neural Networks
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

IGNN-Solver: A Graph Neural Solver for Implicit Graph Neural Networks
von: Lin, Junchao, et al.
Veröffentlicht: (2024)

Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
von: Vallin, Jonatan, et al.
Veröffentlicht: (2024)

Explicit Feature Interaction-aware Graph Neural Networks
von: Kim, Minkyu, et al.
Veröffentlicht: (2022)

Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks
von: Robertson, Zachary, et al.
Veröffentlicht: (2023)

The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
von: Gronich, Eitan, et al.
Veröffentlicht: (2026)

VAEs and GANs: Implicitly Approximating Complex Distributions with Simple Base Distributions and Deep Neural Networks -- Principles, Necessity, and Limitations
von: Wei, Yuan-Hao
Veröffentlicht: (2025)

Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits
von: Priyanka, Padma, et al.
Veröffentlicht: (2024)

Deep Neural Network Training as Random Effects: An Optimization-Inference Duality
von: Yao, Minhao, et al.
Veröffentlicht: (2026)