Buchumschlag

The Collusion of Memory and Nonlinearity in Stochastic Approximation With Constant Stepsize

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huo, Dongyan, Zhang, Yixuan, Chen, Yudong, Xie, Qiaomin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control Statistics Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Bias and Extrapolation in Markovian Linear Stochastic Approximation with Constant Stepsizes
von: Huo, Dongyan, et al.
Veröffentlicht: (2022)

A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
von: Zhang, Yixuan, et al.
Veröffentlicht: (2025)

Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA
von: Zhang, Yixuan, et al.
Veröffentlicht: (2024)

Two-Timescale Linear Stochastic Approximation: Constant Stepsizes Go a Long Way
von: Kwon, Jeongyeol, et al.
Veröffentlicht: (2024)

Constant Stepsize Q-learning: Distributional Convergence, Bias and Extrapolation
von: Zhang, Yixuan, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2023)

Stochastic Approximation with Block Coordinate Optimal Stepsizes
von: Jiang, Tao, et al.
Veröffentlicht: (2025)

Stochastic Optimization with Optimal Importance Sampling
von: Aolaritei, Liviu, et al.
Veröffentlicht: (2025)

On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
von: Ruan, Feng
Veröffentlicht: (2024)

Probabilistic Guarantees of Stochastic Recursive Gradient in Non-Convex Finite Sum Problems
von: Zhong, Yanjie, et al.
Veröffentlicht: (2024)

Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
von: Aolaritei, Liviu, et al.
Veröffentlicht: (2025)

Data-Efficient Non-Gaussian Semi-Nonparametric Density Estimation for Nonlinear Dynamical Systems
von: Liao, Aaron R., et al.
Veröffentlicht: (2026)

Hyperparameter tuning via trajectory predictions: Stochastic prox-linear methods in matrix sensing
von: Lou, Mengqi, et al.
Veröffentlicht: (2024)

The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms
von: Collins-Woodfin, Elizabeth, et al.
Veröffentlicht: (2024)

Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)

Kernel Mean Embedding Topology: Weak and Strong Forms for Stochastic Kernels and Implications for Model Learning
von: Saldi, Naci, et al.
Veröffentlicht: (2025)

Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
von: Cheng, Xiuyuan, et al.
Veröffentlicht: (2023)

$K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic Control
von: Giegrich, Michael, et al.
Veröffentlicht: (2023)

Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
von: Yang, Zhuoran, et al.
Veröffentlicht: (2020)

Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning
von: Zhang, Dake, et al.
Veröffentlicht: (2024)

Online Experimental Design With Estimation-Regret Trade-off Under Network Interference
von: Zhang, Zhiheng, et al.
Veröffentlicht: (2024)

A Theory of Feature Learning in Kernel Models
von: Chen, Yunlu, et al.
Veröffentlicht: (2023)

State evolution beyond first-order methods I: Rigorous predictions and finite-sample guarantees
von: Celentano, Michael, et al.
Veröffentlicht: (2025)

An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling
von: Huang, Xunpeng, et al.
Veröffentlicht: (2024)

Efficient Group Lasso Regularized Rank Regression with Data-Driven Parameter Determination
von: Lin, Meixia, et al.
Veröffentlicht: (2025)

Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
von: Zhu, Linglingzhi, et al.
Veröffentlicht: (2025)

Learning to Fuse Temporal Proximity Networks: A Case Study in Chimpanzee Social Interactions
von: He, Yixuan, et al.
Veröffentlicht: (2025)

Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
von: Nazari, Parvin, et al.
Veröffentlicht: (2025)

Sinkhorn Based Associative Memory Retrieval Using Spherical Hellinger Kantorovich Dynamics
von: Mustafi, Aratrika, et al.
Veröffentlicht: (2026)

Gaussian Approximation for Two-Timescale Linear Stochastic Approximation
von: Butyrin, Bogdan, et al.
Veröffentlicht: (2025)

Denoising Diffusions with Optimal Transport: Localization, Curvature, and Multi-Scale Complexity
von: Liang, Tengyuan, et al.
Veröffentlicht: (2024)

Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
von: Karnik, Santhosh, et al.
Veröffentlicht: (2024)

On Regularization via Early Stopping for Least Squares Regression
von: Sonthalia, Rishi, et al.
Veröffentlicht: (2024)

Off-policy estimation with adaptively collected data: the power of online learning
von: Lee, Jeonghwan, et al.
Veröffentlicht: (2024)

On the Sample Complexity of Set Membership Estimation for Linear Systems with Disturbances Bounded by Convex Sets
von: Xu, Haonan, et al.
Veröffentlicht: (2024)

Joint learning of a network of linear dynamical systems via total variation penalization
von: Donnat, Claire, et al.
Veröffentlicht: (2025)

A review of NMF, PLSA, LBA, EMA, and LCA with a focus on the identifiability issue
von: Qi, Qianqian, et al.
Veröffentlicht: (2025)

High-dimensional Limit of SGD for Diagonal Linear Networks
von: Malaxechebarría, Begoña García, et al.
Veröffentlicht: (2026)

Error Analysis of Triangular Optimal Transport Maps for Filtering
von: Al-Jarrah, Mohammad, et al.
Veröffentlicht: (2025)