Buchumschlag

The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xie, Zhijie, Song, Shenghui
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Client Selection for Federated Policy Optimization with Environment Heterogeneity
von: Xie, Zhijie, et al.
Veröffentlicht: (2023)

FedKL: Tackling Data Heterogeneity in Federated Reinforcement Learning by Penalizing KL Divergence
von: Xie, Zhijie, et al.
Veröffentlicht: (2022)

Actor-Critic Reinforcement Learning with Phased Actor
von: Wu, Ruofan, et al.
Veröffentlicht: (2024)

When Learning Rates Go Wrong: Early Structural Signals in PPO Actor-Critic
von: Fernández-Hernández, Alberto, et al.
Veröffentlicht: (2026)

Generative Actor Critic
von: Qin, Aoyang, et al.
Veröffentlicht: (2025)

Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning
von: Yang, Tong, et al.
Veröffentlicht: (2023)

Flow Actor-Critic for Offline Reinforcement Learning
von: Chae, Jongseong, et al.
Veröffentlicht: (2026)

TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing
von: Li, Yuanpeng, et al.
Veröffentlicht: (2026)

Pretraining in Actor-Critic Reinforcement Learning for Robot Locomotion
von: Fan, Jiale, et al.
Veröffentlicht: (2025)

Certificated Actor-Critic: Hierarchical Reinforcement Learning with Control Barrier Functions for Safe Navigation
von: Xie, Junjun, et al.
Veröffentlicht: (2025)

SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning
von: Li, Na, et al.
Veröffentlicht: (2025)

Quantum Advantage Actor-Critic for Reinforcement Learning
von: Kölle, Michael, et al.
Veröffentlicht: (2024)

Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning
von: Nauman, Michal, et al.
Veröffentlicht: (2024)

Adversarially Trained Weighted Actor-Critic for Safe Offline Reinforcement Learning
von: Wei, Honghao, et al.
Veröffentlicht: (2024)

Actor-Critic without Actor
von: Ki, Donghyeon, et al.
Veröffentlicht: (2025)

Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
von: Baheri, Ali, et al.
Veröffentlicht: (2025)

Studying the Interplay Between the Actor and Critic Representations in Reinforcement Learning
von: Garcin, Samuel, et al.
Veröffentlicht: (2025)

Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning
von: Küçükoğlu, Burcu, et al.
Veröffentlicht: (2025)

Broad Critic Deep Actor Reinforcement Learning for Continuous Control
von: Thalagala, Shiron, et al.
Veröffentlicht: (2024)

On-policy Actor-Critic Reinforcement Learning for Multi-UAV Exploration
von: Farid, Ali Moltajaei, et al.
Veröffentlicht: (2024)

S$^2$AC: Energy-Based Reinforcement Learning with Stein Soft Actor Critic
von: Messaoud, Safa, et al.
Veröffentlicht: (2024)

FedLAM: Low-latency Wireless Federated Learning via Layer-wise Adaptive Modulation
von: Qu, Linping, et al.
Veröffentlicht: (2025)

Offline Actor-Critic Reinforcement Learning Scales to Large Models
von: Springenberg, Jost Tobias, et al.
Veröffentlicht: (2024)

DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
von: Ma, Xiaoteng, et al.
Veröffentlicht: (2020)

Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
von: Chen, Haohui, et al.
Veröffentlicht: (2024)

Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
von: Vo, Thanh Vinh, et al.
Veröffentlicht: (2025)

Optimized Local Updates in Federated Learning via Reinforcement Learning
von: Murad, Ali, et al.
Veröffentlicht: (2025)

Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning
von: Zhou, Tianchen, et al.
Veröffentlicht: (2024)

Efficient Exploration in Deep Reinforcement Learning: A Novel Bayesian Actor-Critic Algorithm
von: Rozanov, Nikolai
Veröffentlicht: (2024)

D2 Actor Critic: Diffusion Actor Meets Distributional Critic
von: Zhang, Lunjun, et al.
Veröffentlicht: (2025)

Actor-Critic or Critic-Actor? A Tale of Two Time Scales
von: Bhatnagar, Shalabh, et al.
Veröffentlicht: (2022)

FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification
von: Qiao, Nan, et al.
Veröffentlicht: (2026)

Efficient $Q$-Learning and Actor-Critic Methods for Robust Average Reward Reinforcement Learning
von: Xu, Yang, et al.
Veröffentlicht: (2025)

Monte Carlo Beam Search for Actor-Critic Reinforcement Learning in Continuous Control
von: Alzorgan, Hazim, et al.
Veröffentlicht: (2025)

Adviser-Actor-Critic: Eliminating Steady-State Error in Reinforcement Learning Control
von: Chen, Donghe, et al.
Veröffentlicht: (2025)

Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
von: Dong, Jinzong, et al.
Veröffentlicht: (2026)

Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
von: Humayoo, Mahammad, et al.
Veröffentlicht: (2018)

PAC-Bayesian Soft Actor-Critic Learning
von: Tasdighi, Bahareh, et al.
Veröffentlicht: (2023)

Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning
von: Moghimi, Mehrdad, et al.
Veröffentlicht: (2025)

A Single-Loop Deep Actor-Critic Algorithm for Constrained Reinforcement Learning with Provable Convergence
von: Wang, Kexuan, et al.
Veröffentlicht: (2023)