Copertina

Dataset Reset Policy Optimization for RLHF

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chang, Jonathan D., Zhan, Wenhao, Oertell, Owen, Brantley, Kianté, Misra, Dipendra, Lee, Jason D., Sun, Wen
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Regressing the Relative Future: Efficient Policy Optimization for Multi-turn RLHF
di: Gao, Zhaolin, et al.
Pubblicazione: (2024)

RL for Consistency Models: Faster Reward Guided Text-to-Image Generation
di: Oertell, Owen, et al.
Pubblicazione: (2024)

Policy-Gradient Training of Language Models for Ranking
di: Gao, Ge, et al.
Pubblicazione: (2023)

LLMs Can Learn to Reason Via Off-Policy RL
di: Ritter, Daniel, et al.
Pubblicazione: (2026)

Accelerating RL for LLM Reasoning with Optimal Advantage Regression
di: Brantley, Kianté, et al.
Pubblicazione: (2025)

A Surprising Failure? Multimodal LLMs and the NLVR Challenge
di: Wu, Anne, et al.
Pubblicazione: (2024)

REBEL: Reinforcement Learning via Regressing Relative Rewards
di: Gao, Zhaolin, et al.
Pubblicazione: (2024)

Adversarial Imitation Learning via Boosting
di: Chang, Jonathan D., et al.
Pubblicazione: (2024)

Value-Guided Search for Efficient Chain-of-Thought Reasoning
di: Wang, Kaiwen, et al.
Pubblicazione: (2025)

LLMs Are In-Context Bandit Reinforcement Learners
di: Monea, Giovanni, et al.
Pubblicazione: (2024)

Scaling Offline RL via Efficient and Expressive Shortcut Models
di: Espinosa-Dice, Nicolas, et al.
Pubblicazione: (2025)

$Q\sharp$: Provably Optimal Distributional RL for LLM Post-Training
di: Zhou, Jin Peng, et al.
Pubblicazione: (2025)

Policy Improvement using Language Feedback Models
di: Zhong, Victor, et al.
Pubblicazione: (2024)

Expressive Value Learning for Scalable Offline Reinforcement Learning
di: Espinosa-Dice, Nicolas, et al.
Pubblicazione: (2025)

Provable Interactive Learning with Hindsight Instruction Feedback
di: Misra, Dipendra, et al.
Pubblicazione: (2024)

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
di: Huang, Audrey, et al.
Pubblicazione: (2024)

Principled Fine-tuning of LLMs from User-Edits: A Medley of Preference, Supervision, and Reward
di: Misra, Dipendra, et al.
Pubblicazione: (2026)

Exploration-Driven Policy Optimization in RLHF: Theoretical Insights on Efficient Data Utilization
di: Du, Yihan, et al.
Pubblicazione: (2024)

OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
di: Hu, Jian, et al.
Pubblicazione: (2024)

Aligning LLM Agents by Learning Latent Preference from User Edits
di: Gao, Ge, et al.
Pubblicazione: (2024)

Active Preference Optimization for Sample Efficient RLHF
di: Das, Nirjhar, et al.
Pubblicazione: (2024)

WPO: Enhancing RLHF with Weighted Preference Optimization
di: Zhou, Wenxuan, et al.
Pubblicazione: (2024)

RLHF and IIA: Perverse Incentives
di: Xu, Wanqiao, et al.
Pubblicazione: (2023)

$p1$: Better Prompt Optimization with Fewer Prompts
di: Gao, Zhaolin, et al.
Pubblicazione: (2026)

It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF
di: Lu, Taiming, et al.
Pubblicazione: (2024)

RLHF Workflow: From Reward Modeling to Online RLHF
di: Dong, Hanze, et al.
Pubblicazione: (2024)

Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
di: Shen, Judy Hanwen, et al.
Pubblicazione: (2024)

DPO Meets PPO: Reinforced Token Optimization for RLHF
di: Zhong, Han, et al.
Pubblicazione: (2024)

Provable Reward-Agnostic Preference-Based Reinforcement Learning
di: Zhan, Wenhao, et al.
Pubblicazione: (2023)

Efficient Controllable Diffusion via Optimal Classifier Guidance
di: Oertell, Owen, et al.
Pubblicazione: (2025)

Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models
di: Noukhovitch, Michael, et al.
Pubblicazione: (2024)

TurboHopp: Accelerated Molecule Scaffold Hopping with Consistency Models
di: Yoo, Kiwoong, et al.
Pubblicazione: (2024)

Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
di: Xie, Tengyang, et al.
Pubblicazione: (2024)

RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs
di: Dang, John, et al.
Pubblicazione: (2024)

Reward-Robust RLHF in LLMs
di: Yan, Yuzi, et al.
Pubblicazione: (2024)

Reward Model Overoptimisation in Iterated RLHF
di: Wolf, Lorenz, et al.
Pubblicazione: (2025)

How to Evaluate Reward Models for RLHF
di: Frick, Evan, et al.
Pubblicazione: (2024)

Fibration Policy Optimization
di: Li, Chang, et al.
Pubblicazione: (2026)

Optimizing Anytime Reasoning via Budget Relative Policy Optimization
di: Qi, Penghui, et al.
Pubblicazione: (2025)

Quantile Regression for Distributional Reward Models in RLHF
di: Dorka, Nicolai
Pubblicazione: (2024)