Buchumschlag

Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Ziyi, Li, Junyi, Yu, Peiran, Huang, Heng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
von: Liu, Zhihan, et al.
Veröffentlicht: (2024)

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment
von: Yang, Zhiqin, et al.
Veröffentlicht: (2026)

Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
von: Zhu, Banghua, et al.
Veröffentlicht: (2024)

A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO
von: Zhou, Xingyu, et al.
Veröffentlicht: (2025)

Offline and Online KL-Regularized RLHF under Differential Privacy
von: Wu, Yulian, et al.
Veröffentlicht: (2025)

DPO Meets PPO: Reinforced Token Optimization for RLHF
von: Zhong, Han, et al.
Veröffentlicht: (2024)

ODIN: Disentangled Reward Mitigates Hacking in RLHF
von: Chen, Lichang, et al.
Veröffentlicht: (2024)

Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
von: Cen, Shicong, et al.
Veröffentlicht: (2024)

Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
von: Rafailov, Rafael, et al.
Veröffentlicht: (2024)

Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
von: He, Longxiang, et al.
Veröffentlicht: (2025)

Greedy Sampling Is Provably Efficient for RLHF
von: Wu, Di, et al.
Veröffentlicht: (2025)

Reward Shaping to Mitigate Reward Hacking in RLHF
von: Fu, Jiayi, et al.
Veröffentlicht: (2025)

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
von: Huang, Audrey, et al.
Veröffentlicht: (2024)

Provable Zero-Shot Generalization in Offline Reinforcement Learning
von: Wang, Zhiyong, et al.
Veröffentlicht: (2025)

Policy Filtration for RLHF to Mitigate Noise in Reward Models
von: Zhang, Chuheng, et al.
Veröffentlicht: (2024)

Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
von: Zhao, Kangwen, et al.
Veröffentlicht: (2025)

On the Exponential Convergence for Offline RLHF with Pairwise Comparisons
von: Chen, Zhirui, et al.
Veröffentlicht: (2024)

RLHF Workflow: From Reward Modeling to Online RLHF
von: Dong, Hanze, et al.
Veröffentlicht: (2024)

Towards Reliable Alignment: Uncertainty-aware RLHF
von: Banerjee, Debangshu, et al.
Veröffentlicht: (2024)

Corruption Robust Offline Reinforcement Learning with Human Feedback
von: Mandal, Debmalya, et al.
Veröffentlicht: (2024)

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
von: Ma, Shaocong, et al.
Veröffentlicht: (2026)

Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
von: Ji, Xiang, et al.
Veröffentlicht: (2024)

The Viscosity of Logic: Phase Transitions and Hysteresis in DPO Alignment
von: Pollanen, Marco
Veröffentlicht: (2026)

Mitigating Reward Over-Optimization in RLHF via Behavior-Supported Regularization
von: Dai, Juntao, et al.
Veröffentlicht: (2025)

Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
von: Huang, Xiao, et al.
Veröffentlicht: (2025)

Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
von: Zhang, Xiaoying, et al.
Veröffentlicht: (2024)

What Matters in Data for DPO?
von: Pan, Yu, et al.
Veröffentlicht: (2025)

Online DPO: Online Direct Preference Optimization with Fast-Slow Chasing
von: Qi, Biqing, et al.
Veröffentlicht: (2024)

Enhancing Robustness of Offline Reinforcement Learning Under Data Corruption via Sharpness-Aware Minimization
von: Xu, Le, et al.
Veröffentlicht: (2025)

Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
von: Yang, Rui, et al.
Veröffentlicht: (2023)

Tackling Data Corruption in Offline Reinforcement Learning via Sequence Modeling
von: Xu, Jiawei, et al.
Veröffentlicht: (2024)

Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
von: Yu, Xudong, et al.
Veröffentlicht: (2024)

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment
von: Lin, Xiaoqiang, et al.
Veröffentlicht: (2025)

Rethinking Reward Model Evaluation Through the Lens of Reward Overoptimization
von: Kim, Sunghwan, et al.
Veröffentlicht: (2025)

ADG: Ambient Diffusion-Guided Dataset Recovery for Corruption-Robust Offline Reinforcement Learning
von: Liu, Zeyuan, et al.
Veröffentlicht: (2025)

Measuring Chain-of-Thought Monitorability Through Faithfulness and Verbosity
von: Meek, Austin, et al.
Veröffentlicht: (2025)

RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation
von: Liang, Kaiqu, et al.
Veröffentlicht: (2025)

Triadic-OCD: Asynchronous Online Change Detection with Provable Robustness, Optimality, and Convergence
von: Huang, Yancheng, et al.
Veröffentlicht: (2024)

Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions
von: Yang, Rui, et al.
Veröffentlicht: (2024)

Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework
von: Kim, Kihyun, et al.
Veröffentlicht: (2025)