Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zheng, Haizhong, Zhao, Jiawei, Chen, Beidi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts
von: Zheng, Haizhong, et al.
Veröffentlicht: (2025)

AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs
von: Zheng, Haizhong, et al.
Veröffentlicht: (2026)

Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs
von: Huang, Luke J., et al.
Veröffentlicht: (2026)

Soft Policy Optimization: Online Off-Policy RL for Sequence Models
von: Cohen, Taco, et al.
Veröffentlicht: (2025)

SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
von: Romeo, Carlo, et al.
Veröffentlicht: (2026)

Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data
von: Zheng, Chongyi, et al.
Veröffentlicht: (2023)

Policy Learning for Off-Dynamics RL with Deficient Support
von: Van, Linh Le Pham, et al.
Veröffentlicht: (2024)

How Far Can Fairness Constraints Help Recover From Biased Data?
von: Sharma, Mohit, et al.
Veröffentlicht: (2023)

Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL
von: Ye, Chenlu, et al.
Veröffentlicht: (2026)

Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training
von: Fakoor, Rasool, et al.
Veröffentlicht: (2026)

Kernel Metric Learning for In-Sample Off-Policy Evaluation of Deterministic RL Policies
von: Lee, Haanvid, et al.
Veröffentlicht: (2024)

Class-Proportional Coreset Selection for Difficulty-Separable Data
von: Tsai, Elisa, et al.
Veröffentlicht: (2025)

Degree of Staleness-Aware Data Updating in Federated Learning
von: Liu, Tao, et al.
Veröffentlicht: (2025)

Partial Policy Gradients for RL in LLMs
von: Mathur, Puneet, et al.
Veröffentlicht: (2026)

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?
von: Ziomek, Juliusz, et al.
Veröffentlicht: (2026)

Learn To be Efficient: Build Structured Sparsity in Large Language Models
von: Zheng, Haizhong, et al.
Veröffentlicht: (2024)

How Can LLM Guide RL? A Value-Based Approach
von: Zhang, Shenao, et al.
Veröffentlicht: (2024)

1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
von: Wang, Kevin, et al.
Veröffentlicht: (2025)

How Far Can Transformers Reason? The Globality Barrier and Inductive Scratchpad
von: Abbe, Emmanuel, et al.
Veröffentlicht: (2024)

On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
von: Zhang, Wenhao, et al.
Veröffentlicht: (2025)

Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction
von: Guan, Zhong, et al.
Veröffentlicht: (2026)

Can Kernel Methods Explain How the Data Affects Neural Collapse?
von: Kothapalli, Vignesh, et al.
Veröffentlicht: (2024)

SCOPE-RL: A Python Library for Offline Reinforcement Learning and Off-Policy Evaluation
von: Kiyohara, Haruka, et al.
Veröffentlicht: (2023)

Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
von: Meng, Wenjia, et al.
Veröffentlicht: (2024)

When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?
von: Hatgis-Kessell, Stephane, et al.
Veröffentlicht: (2026)

FedPSA: Modeling Behavioral Staleness in Asynchronous Federated Learning
von: Lu, Chaoyi, et al.
Veröffentlicht: (2026)

Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
von: Luo, Yu, et al.
Veröffentlicht: (2024)

APE: Faster and Longer Context-Augmented Generation via Adaptive Parallel Encoding
von: Yang, Xinyu, et al.
Veröffentlicht: (2025)

A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
von: Li, Xiaocan, et al.
Veröffentlicht: (2025)

The Impact of Off-Policy Training Data on Probe Generalisation
von: Kirch, Nathalie, et al.
Veröffentlicht: (2025)

Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models
von: Noukhovitch, Michael, et al.
Veröffentlicht: (2024)

RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation
von: Kwon, Jeongyeol, et al.
Veröffentlicht: (2024)

Jackpot: Optimal Budgeted Rejection Sampling for Extreme Actor-Policy Mismatch Reinforcement Learning
von: Chen, Zhuoming, et al.
Veröffentlicht: (2026)

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization
von: Dong, Yihong, et al.
Veröffentlicht: (2025)

FedStale: leveraging stale client updates in federated learning
von: Rodio, Angelo, et al.
Veröffentlicht: (2024)

Rethinking RL Evaluation: Can Benchmarks Truly Reveal Failures of RL Methods?
von: Chen, Zihan, et al.
Veröffentlicht: (2025)

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping
von: Xi, Zhiheng, et al.
Veröffentlicht: (2025)

$f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
von: Fawkes, Jake, et al.
Veröffentlicht: (2026)

How to Synthesize Text Data without Model Collapse?
von: Zhu, Xuekai, et al.
Veröffentlicht: (2024)

S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity
von: Yang, Xinyu, et al.
Veröffentlicht: (2024)