Buchumschlag

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gong, Xiaochuan, Hao, Jie, Liu, Mingrui
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Convergence of Adam-Type Algorithm for Bilevel Optimization under Unbounded Smoothness
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2024)

Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
von: Hao, Jie, et al.
Veröffentlicht: (2024)

A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2024)

Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm
von: Wu, Yuman, et al.
Veröffentlicht: (2026)

Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
von: Crawshaw, Michael, et al.
Veröffentlicht: (2025)

Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
von: Vaidyan, Kevin Kurian Thomas, et al.
Veröffentlicht: (2026)

Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
von: Harada, Hinata, et al.
Veröffentlicht: (2024)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

Improved Learning Rates for Stochastic Optimization
von: Li, Shaojie, et al.
Veröffentlicht: (2021)

Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
von: Grazzi, Riccardo, et al.
Veröffentlicht: (2024)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
von: Qian, Xiaochi, et al.
Veröffentlicht: (2024)

Almost Sure Convergence Rates of Stochastic Approximation and Reinforcement Learning via a Poisson-Moreau Drift
von: Liu, Xinyu, et al.
Veröffentlicht: (2026)

Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
von: Deng, Yuyang, et al.
Veröffentlicht: (2024)

On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions
von: Hong, Yusu, et al.
Veröffentlicht: (2024)

Optimal Rates for Robust Stochastic Convex Optimization
von: Gao, Changyu, et al.
Veröffentlicht: (2024)

The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms
von: Collins-Woodfin, Elizabeth, et al.
Veröffentlicht: (2024)

Convergence of Distributed Adaptive Optimization with Local Updates
von: Cheng, Ziheng, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

humancompatible.train: Implementing Optimization Algorithms for Stochastically-Constrained Stochastic Optimization Problems
von: Kliachkin, Andrii, et al.
Veröffentlicht: (2025)

Convergence Rate in Nonlinear Two-Time-Scale Stochastic Approximation with State (Time)-Dependence
von: Chen, Zixi, et al.
Veröffentlicht: (2025)

The Price of Adaptivity in Stochastic Convex Optimization
von: Carmon, Yair, et al.
Veröffentlicht: (2024)

Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence
von: Bonalli, Riccardo, et al.
Veröffentlicht: (2023)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
von: Zhang, Jiahao, et al.
Veröffentlicht: (2024)

Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
von: Wu, Haotian
Veröffentlicht: (2025)

Optimal Local Convergence Rates of Stochastic First-Order Methods under Local $α$-PL
von: Masiha, Saeed, et al.
Veröffentlicht: (2024)

A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization
von: Chu, Tianshu, et al.
Veröffentlicht: (2025)

Learning Rate Annealing Improves Tuning Robustness in Stochastic Optimization
von: Attia, Amit, et al.
Veröffentlicht: (2025)

Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds
von: Dodd, Daniel, et al.
Veröffentlicht: (2024)

Accelerated Rates between Stochastic and Adversarial Online Convex Optimization
von: Sachs, Sarah, et al.
Veröffentlicht: (2023)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Sharpness-Aware Minimization: General Analysis and Improved Rates
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2025)

Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods
von: Liu, Zijian, et al.
Veröffentlicht: (2023)

Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator
von: Guo, Zhishuai, et al.
Veröffentlicht: (2021)

Convergence Rate Analysis of LION
von: Dong, Yiming, et al.
Veröffentlicht: (2024)

Hierarchical Reinforcement Learning Framework for Stochastic Spaceflight Campaign Design
von: Takubo, Yuji, et al.
Veröffentlicht: (2021)

Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations
von: Pan, Xiaokang, et al.
Veröffentlicht: (2024)

Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms
von: Li, Yuchen, et al.
Veröffentlicht: (2024)