Buchumschlag

Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Weizhen, He, Jianping, Duan, Xiaoming
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Elementary Analysis of Policy Gradient Methods
von: Liu, Jiacai, et al.
Veröffentlicht: (2024)

Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
von: Klein, Sara, et al.
Veröffentlicht: (2023)

A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
von: Xu, Guixian, et al.
Veröffentlicht: (2026)

Model-Free Output Feedback Stabilization via Policy Gradient Methods
von: Zhang, Ankang, et al.
Veröffentlicht: (2026)

Delightful Distributed Policy Gradient
von: Osband, Ian
Veröffentlicht: (2026)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Policy Gradient Methods for Risk-Sensitive Distributional Reinforcement Learning with Provable Convergence
von: Xiao, Minheng, et al.
Veröffentlicht: (2024)

Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
von: Zhang, Siqi, et al.
Veröffentlicht: (2023)

Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis
von: Liu, Zijian
Veröffentlicht: (2025)

Linear-Quadratic Mean-Field Reinforcement Learning: Convergence of Policy Gradient Methods
von: Carmona, René, et al.
Veröffentlicht: (2019)

Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
von: Li, Deyue
Veröffentlicht: (2023)

A Weighted Gradient Tracking Privacy-Preserving Method for Distributed Optimization
von: Xie, Furan, et al.
Veröffentlicht: (2025)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
von: Ding, Dongsheng, et al.
Veröffentlicht: (2023)

Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles
von: Hu, Yifan, et al.
Veröffentlicht: (2024)

Natural Policy Gradient and Actor Critic Methods for Constrained Multi-Task Reinforcement Learning
von: Zeng, Sihan, et al.
Veröffentlicht: (2024)

Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
von: Cayci, Semih, et al.
Veröffentlicht: (2021)

Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
von: Lau, Tim Tsz-Kit, et al.
Veröffentlicht: (2024)

Fill-and-Spill: Deep Reinforcement Learning Policy Gradient Methods for Reservoir Operation Decision and Control
von: Tabas, Sadegh Sadeghi, et al.
Veröffentlicht: (2024)

On the Global Convergence of Risk-Averse Natural Policy Gradient Methods with Expected Conditional Risk Measures
von: Yu, Xian, et al.
Veröffentlicht: (2023)

A Concise Lyapunov Analysis of Nesterov's Accelerated Gradient Method
von: Liu, Jun
Veröffentlicht: (2025)

Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods
von: Mukherjee, Amartya, et al.
Veröffentlicht: (2025)

Recurrent Natural Policy Gradient for POMDPs
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
von: Chen, Chuyan, et al.
Veröffentlicht: (2025)

Stochastic Gradients under Nuisances
von: Yu, Facheng, et al.
Veröffentlicht: (2025)

Directional Smoothness and Gradient Methods: Convergence and Adaptivity
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The Case of Distributed Linear Regression Problem
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2021)

Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2020)

Gradient Methods with Online Scaling
von: Gao, Wenzhi, et al.
Veröffentlicht: (2024)

Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness
von: Tyurin, Alexander
Veröffentlicht: (2025)

Policy Gradient Converges to the Globally Optimal Policy for Nearly Linear-Quadratic Regulators
von: Han, Yinbin, et al.
Veröffentlicht: (2023)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad
von: Liu, Zijian
Veröffentlicht: (2026)

Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
von: Nanda, Phalguni, et al.
Veröffentlicht: (2026)

Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
von: Chen, Jun, et al.
Veröffentlicht: (2023)

Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
von: Chiang, John
Veröffentlicht: (2022)

On the Last-Iterate Convergence of Shuffling Gradient Methods
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

On Penalty-based Bilevel Gradient Descent Method
von: Shen, Han, et al.
Veröffentlicht: (2023)