Buchumschlag

Reevaluating Theoretical Analysis Methods for Optimization in Deep Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tran, Hoang, Zhang, Qinzi, Cutkosky, Ashok
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Private Zeroth-Order Nonsmooth Nonconvex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Random Scaling and Momentum for Non-smooth Non-convex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Unconstrained Robust Online Convex Optimization
von: Zhang, Jiujia, et al.
Veröffentlicht: (2025)

Fully Unconstrained Online Learning
von: Cutkosky, Ashok, et al.
Veröffentlicht: (2024)

Adam with model exponential moving average is effective for nonconvex optimization
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Parameter-free Mirror Descent
von: Jacobsen, Andrew, et al.
Veröffentlicht: (2022)

Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
von: Cutkosky, Ashok, et al.
Veröffentlicht: (2023)

General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Shuffling Gradient-Based Methods for Nonconvex-Concave Minimax Optimization
von: Tran-Dinh, Quoc, et al.
Veröffentlicht: (2024)

Learning Constrained Optimization with Deep Augmented Lagrangian Methods
von: Kotary, James, et al.
Veröffentlicht: (2024)

Towards Robust Learning to Optimize with Theoretical Guarantees
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

The Road Less Scheduled
von: Defazio, Aaron, et al.
Veröffentlicht: (2024)

Controllable Expensive Multi-objective Learning with Warm-starting Bayesian Optimization
von: Nguyen, Quang-Huy, et al.
Veröffentlicht: (2023)

Theoretical Analysis on how Learning Rate Warmup Accelerates Convergence
von: Liu, Yuxing, et al.
Veröffentlicht: (2025)

Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation
von: Sucker, Michael, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of Self-Supervised Learning for Vision Transformers
von: Huang, Yu, et al.
Veröffentlicht: (2024)

A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2022)

Stochastic Constrained Decentralized Optimization for Machine Learning with Fewer Data Oracles: a Gradient Sliding Approach
von: Nguyen, Hoang Huy, et al.
Veröffentlicht: (2024)

Towards Practical Second-Order Optimizers in Deep Learning: Insights from Fisher Information Analysis
von: Gomes, Damien Martins
Veröffentlicht: (2025)

Adaptive Moment Estimation Optimization Algorithm Using Projection Gradient for Deep Learning
von: Li, Yongqi, et al.
Veröffentlicht: (2025)

Shuffling Momentum Gradient Algorithm for Convex Optimization
von: Tran, Trang H., et al.
Veröffentlicht: (2024)

FSNet: Feasibility-Seeking Neural Network for Constrained Optimization with Guarantees
von: Nguyen, Hoang T., et al.
Veröffentlicht: (2025)

Deep Reinforcement Learning: A Convex Optimization Approach
von: Gattami, Ather
Veröffentlicht: (2024)

Gradient Methods with Online Scaling Part I. Theoretical Foundations
von: Gao, Wenzhi, et al.
Veröffentlicht: (2025)

Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning
von: Hu, Yifan, et al.
Veröffentlicht: (2020)

Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning
von: Ding, Kuangyu, et al.
Veröffentlicht: (2023)

Theoretical Analysis of Heteroscedastic Gaussian Processes with Posterior Distributions
von: Ito, Yuji
Veröffentlicht: (2024)

EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization
von: Yau, Chung-Yiu, et al.
Veröffentlicht: (2026)

Riemannian Stochastic Gradient Method for Nested Composition Optimization
von: Zhang, Dewei, et al.
Veröffentlicht: (2022)

PDHG-Unrolled Learning-to-Optimize Method for Large-Scale Linear Programming
von: Li, Bingheng, et al.
Veröffentlicht: (2024)

SGD with Partial Hessian for Deep Neural Networks Optimization
von: Sun, Ying, et al.
Veröffentlicht: (2024)

Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations
von: Tran-Dinh, Quoc, et al.
Veröffentlicht: (2025)

Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization
von: Suh, Min-Kook, et al.
Veröffentlicht: (2024)

First-Order Methods for Linearly Constrained Bilevel Optimization
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

On Unbalanced Optimal Transport: Gradient Methods, Sparsity and Approximation Error
von: Nguyen, Quang Minh, et al.
Veröffentlicht: (2022)

A Hyper-Transformer model for Controllable Pareto Front Learning with Split Feasibility Constraints
von: Tuan, Tran Anh, et al.
Veröffentlicht: (2024)

Control Theoretic Approach to Fine-Tuning and Transfer Learning
von: Bayram, Erkan, et al.
Veröffentlicht: (2024)

Fill-and-Spill: Deep Reinforcement Learning Policy Gradient Methods for Reservoir Operation Decision and Control
von: Tabas, Sadegh Sadeghi, et al.
Veröffentlicht: (2024)

Faster Gradient Methods for Highly-Smooth Stochastic Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)