Buchumschlag

Reward Learning from Best-of-$N$ Preference Data: Targets, Tradeoffs, and Design Principles

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pukdee, Rattana, Balcan, Maria-Florina, Ravikumar, Pradeep
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

What Does Preference Learning Recover from Pairwise Comparison Data?
von: Pukdee, Rattana, et al.
Veröffentlicht: (2026)

Spectrally Transformed Kernel Regression
von: Zhai, Runtian, et al.
Veröffentlicht: (2024)

Learning from Interval Targets
von: Pukdee, Rattana, et al.
Veröffentlicht: (2025)

Algorithm Configuration for Structured Pfaffian Settings
von: Balcan, Maria-Florina, et al.
Veröffentlicht: (2024)

Learning to Relax: Setting Solver Parameters Across a Sequence of Linear System Instances
von: Khodak, Mikhail, et al.
Veröffentlicht: (2023)

Learning accurate and interpretable tree-based models
von: Balcan, Maria-Florina, et al.
Veröffentlicht: (2024)

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback
von: Afsharrad, Amirhossein, et al.
Veröffentlicht: (2026)

Reward Learning From Preference With Ties
von: Liu, Jinsong, et al.
Veröffentlicht: (2024)

Best of mini-N in-loop Sampling: A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling
von: Rho, Hyung Gyu, et al.
Veröffentlicht: (2025)

Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs
von: Cho, Dongkyu Derek, et al.
Veröffentlicht: (2025)

Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models
von: Rajendran, Goutham, et al.
Veröffentlicht: (2024)

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs
von: Zhang, Shenao, et al.
Veröffentlicht: (2024)

Rectifying Shortcut Behaviors in Preference-based Reward Learning
von: Ye, Wenqian, et al.
Veröffentlicht: (2025)

Exploring and Addressing Reward Confusion in Offline Preference Learning
von: Chen, Xin, et al.
Veröffentlicht: (2024)

New Guarantees for Learning Revenue Maximizing Menus of Lotteries and Two-Part Tariffs
von: Balcan, Maria-Florina, et al.
Veröffentlicht: (2023)

Identifying General Mechanism Shifts in Linear Causal Representations
von: Chen, Tianyu, et al.
Veröffentlicht: (2024)

Identifying Representations for Intervention Extrapolation
von: Saengkyongam, Sorawit, et al.
Veröffentlicht: (2023)

Beyond Scalar Reward Model: Learning Generative Judge from Preference Data
von: Ye, Ziyi, et al.
Veröffentlicht: (2024)

Preference as Reward, Maximum Preference Optimization with Importance Sampling
von: Jiang, Zaifan, et al.
Veröffentlicht: (2023)

Principled Fine-tuning of LLMs from User-Edits: A Medley of Preference, Supervision, and Reward
von: Misra, Dipendra, et al.
Veröffentlicht: (2026)

Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
von: Choi, Heewoong, et al.
Veröffentlicht: (2024)

Batch Active Learning of Reward Functions from Human Preferences
von: Bıyık, Erdem, et al.
Veröffentlicht: (2024)

LLM-Select: Feature Selection with Large Language Models
von: Jeong, Daniel P., et al.
Veröffentlicht: (2024)

iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive Noise Models
von: Chen, Tianyu, et al.
Veröffentlicht: (2023)

Mining Intrinsic Rewards from LLM Hidden States for Efficient Best-of-N Sampling
von: Guo, Jizhou, et al.
Veröffentlicht: (2025)

Contextures: Representations from Contexts
von: Zhai, Runtian, et al.
Veröffentlicht: (2025)

Residual Reward Models for Preference-based Reinforcement Learning
von: Cao, Chenyang, et al.
Veröffentlicht: (2025)

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
von: Rajaram, Sara, et al.
Veröffentlicht: (2025)

Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
von: Metcalf, Katherine, et al.
Veröffentlicht: (2024)

West-of-N: Synthetic Preferences for Self-Improving Reward Models
von: Pace, Alizée, et al.
Veröffentlicht: (2024)

Causally Robust Reward Learning from Reason-Augmented Preference Feedback
von: Hwang, Minjune, et al.
Veröffentlicht: (2026)

Preference Poisoning Attacks on Reward Model Learning
von: Wu, Junlin, et al.
Veröffentlicht: (2024)

Tiered Reward: Designing Rewards for Specification and Fast Learning of Desired Behavior
von: Zhou, Zhiyuan, et al.
Veröffentlicht: (2022)

In-Context Reward Adaptation for Robust Preference Modeling
von: Sun, Zhenyu, et al.
Veröffentlicht: (2026)

Capturing Individual Human Preferences with Reward Features
von: Barreto, André, et al.
Veröffentlicht: (2025)

APLOT: Robust Reward Modeling via Adaptive Preference Learning with Optimal Transport
von: Li, Zhuo, et al.
Veröffentlicht: (2025)

A Generalized Acquisition Function for Preference-based Reward Learning
von: Ellis, Evan, et al.
Veröffentlicht: (2024)

Optimal Transport for LLM Reward Modeling from Noisy Preference
von: Pan, Licheng, et al.
Veröffentlicht: (2026)

Deep Reinforcement Learning from Hierarchical Preference Design
von: Bukharin, Alexander, et al.
Veröffentlicht: (2023)

The Active and Noise-Tolerant Strategic Perceptron
von: Balcan, Maria-Florina, et al.
Veröffentlicht: (2025)