Copertina

Comparative Analysis and Parametric Tuning of PPO, GRPO, and DAPO for LLM Reasoning Enhancement

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Lian, Yongsheng
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

GRPO-$λ$: Credit Assignment improves LLM Reasoning
di: Parthasarathi, Prasanna, et al.
Pubblicazione: (2025)

Multi-Task GRPO: Reliable LLM Reasoning Across Tasks
di: Ramesh, Shyam Sundhar, et al.
Pubblicazione: (2026)

Uncalibrated Reasoning: GRPO Induces Overconfidence for Stochastic Outcomes
di: Bereket, Michael, et al.
Pubblicazione: (2025)

Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning
di: Zhang, Xichen, et al.
Pubblicazione: (2025)

GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO
di: Dipta, Shubhashis Roy, et al.
Pubblicazione: (2026)

Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training
di: Gong, Xue, et al.
Pubblicazione: (2026)

S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models
di: Dai, Muzhi, et al.
Pubblicazione: (2025)

AMIR-GRPO: Inducing Implicit Preference Signals into GRPO
di: Yari, Amir Hossein, et al.
Pubblicazione: (2026)

ExGRPO: Learning to Reason from Experience
di: Zhan, Runzhe, et al.
Pubblicazione: (2025)

7B Fully Open Source Moxin-LLM/VLM -- From Pretraining to GRPO-based Reinforcement Learning Enhancement
di: Zhao, Pu, et al.
Pubblicazione: (2024)

From Reasoning to Code: GRPO Optimization for Underrepresented Languages
di: Pennino, Federico, et al.
Pubblicazione: (2025)

What is the Alignment Objective of GRPO?
di: Vojnovic, Milan, et al.
Pubblicazione: (2025)

Mode-Dependent Rectification for Stable PPO Training
di: Mohamad, Mohamad, et al.
Pubblicazione: (2026)

GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning
di: Wang, Jingyi, et al.
Pubblicazione: (2026)

Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO
di: Chen, Peter, et al.
Pubblicazione: (2025)

GRPO is Secretly a Process Reward Model
di: Sullivan, Michael, et al.
Pubblicazione: (2025)

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO
di: Elgouhary, Mohamed, et al.
Pubblicazione: (2026)

Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents
di: Zhu, Mingkang, et al.
Pubblicazione: (2025)

SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
di: Zheng, Zhi, et al.
Pubblicazione: (2025)

CIM-PPO:Proximal Policy Optimization with Liu-Correntropy Induced Metric
di: Guo, Yunxiao, et al.
Pubblicazione: (2021)

PPO-Clip Attains Global Optimality: Towards Deeper Understandings of Clipping
di: Huang, Nai-Chieh, et al.
Pubblicazione: (2023)

ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
di: Wang, Hanyong, et al.
Pubblicazione: (2026)

Representation over Routing: Diagnosing Temporal Routing Pathologies in Multi-Timescale PPO
di: Sun, Jing
Pubblicazione: (2026)

Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients
di: Mansouri, Omar El, et al.
Pubblicazione: (2025)

A Unified Framework for Rethinking Policy Divergence Measures in GRPO
di: Wu, Qingyuan, et al.
Pubblicazione: (2026)

Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO
di: Ren, Yiming, et al.
Pubblicazione: (2026)

An Approximate Ascent Approach To Prove Convergence of PPO
di: Doering, Leif, et al.
Pubblicazione: (2026)

IB-GRPO: Aligning LLM-based Learning Path Recommendation with Educational Objectives via Indicator-Based Group Relative Policy Optimization
di: Wang, Shuai, et al.
Pubblicazione: (2026)

When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift
di: Vogt-Lowell, Kevin, et al.
Pubblicazione: (2026)

When Learning Rates Go Wrong: Early Structural Signals in PPO Actor-Critic
di: Fernández-Hernández, Alberto, et al.
Pubblicazione: (2026)

CoRPO: Adding a Correctness Bias to GRPO Improves Generalization
di: Garg, Anisha, et al.
Pubblicazione: (2025)

Prefix Grouper: Efficient GRPO Training through Shared-Prefix Forward
di: Liu, Zikang, et al.
Pubblicazione: (2025)

TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing
di: Li, Yuanpeng, et al.
Pubblicazione: (2026)

FPBoost: Fully Parametric Gradient Boosting for Survival Analysis
di: Archetti, Alberto, et al.
Pubblicazione: (2024)

BinaryPPO: Efficient Policy Optimization for Binary Classification
di: Pandey, Punya Syon, et al.
Pubblicazione: (2026)

DPO Meets PPO: Reinforced Token Optimization for RLHF
di: Zhong, Han, et al.
Pubblicazione: (2024)

A Robust PPO-optimized Tabular Transformer Framework for Intrusion Detection in Industrial IoT Systems
di: She, Yuanya
Pubblicazione: (2025)

OpInf-LLM: Parametric PDE Solving with LLMs via Operator Inference
di: Wang, Zhuoyuan, et al.
Pubblicazione: (2026)

Alignment Dynamics in LLM Fine-Tuning
di: Huang, Yuhan, et al.
Pubblicazione: (2026)

Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
di: Lee, Jaeha, et al.
Pubblicazione: (2025)