Buchumschlag

Coverage Improvement and Fast Convergence of On-policy Preference Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Juno, Yun, Jihun, Lee, Jason D., Jun, Kwang-Sung
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Beyond RLHF: A Unified Theoretical Framework of Alignment
von: Yun, Jihun, et al.
Veröffentlicht: (2025)

Nearly Optimal Active Preference Learning and Its Application to LLM Alignment
von: Zhao, Yao, et al.
Veröffentlicht: (2026)

Regularized Online RLHF with Generalized Bilinear Preferences
von: Lee, Junghyun, et al.
Veröffentlicht: (2026)

A Unified Confidence Sequence for Generalized Linear Models, with Applications to Bandits
von: Lee, Junghyun, et al.
Veröffentlicht: (2024)

Improved Regret Bounds of (Multinomial) Logistic Bandits via Regret-to-Confidence-Set Conversion
von: Lee, Junghyun, et al.
Veröffentlicht: (2023)

Noise-Adaptive Confidence Sets for Linear Bandits and Application to Bayesian Optimization
von: Jun, Kwang-Sung, et al.
Veröffentlicht: (2024)

XB-MAML: Learning Expandable Basis Parameters for Effective Meta-Learning with Wide Task Coverage
von: Lee, Jae-Jun, et al.
Veröffentlicht: (2024)

Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
von: Kim, Juno, et al.
Veröffentlicht: (2026)

Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization
von: Kang, Changmin, et al.
Veröffentlicht: (2026)

Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
von: Kim, Juno, et al.
Veröffentlicht: (2025)

SeedFlood: A Step Toward Scalable Decentralized Training of LLMs
von: Kim, Jihun, et al.
Veröffentlicht: (2026)

Minimum Empirical Divergence for Sub-Gaussian Linear Bandits
von: Balagopalan, Kapilan, et al.
Veröffentlicht: (2024)

Second-Order Bounds for [0,1]-Valued Regression via Betting Loss
von: Li, Yinan, et al.
Veröffentlicht: (2025)

Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale
von: Park, Sihwan, et al.
Veröffentlicht: (2025)

GL-LowPopArt: A Nearly Instance-Wise Minimax-Optimal Estimator for Generalized Low-Rank Trace Regression
von: Lee, Junghyun, et al.
Veröffentlicht: (2025)

HAVER: Instance-Dependent Error Bounds for Maximum Mean Estimation and Applications to Q-Learning and Monte Carlo Tree Search
von: Nguyen, Tuan Ngo, et al.
Veröffentlicht: (2024)

Transformers Provably Solve Parity Efficiently with Chain of Thought
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Sharp Capacity Thresholds in Linear Associative Memory: From Winner-Take-All to Listwise Retrieval
von: Barnfield, Nicholas, et al.
Veröffentlicht: (2026)

$\varepsilon$-Good Action Identification in Fixed-Budget Monte Carlo Tree Search
von: Li, Yinan, et al.
Veröffentlicht: (2026)

Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
von: Jang, Kyoungseok, et al.
Veröffentlicht: (2024)

Kullback-Leibler Maillard Sampling for Multi-armed Bandits with Bounded Rewards
von: Qin, Hao, et al.
Veröffentlicht: (2023)

MEC: Machine-Learning-Assisted Generalized Entropy Calibration for Semi-Supervised Mean Estimation
von: Lee, Se Yoon, et al.
Veröffentlicht: (2026)

Mirror Mean-Field Langevin Dynamics
von: Gu, Anming, et al.
Veröffentlicht: (2025)

$t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence
von: Kim, Juno, et al.
Veröffentlicht: (2023)

A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
von: Kubo, Akihiro, et al.
Veröffentlicht: (2026)

Convergence Rates of Constrained Expected Improvement
von: Wang, Haowei, et al.
Veröffentlicht: (2025)

Transformers are Minimax Optimal Nonparametric In-Context Learners
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Policy-labeled Preference Learning: Is Preference Enough for RLHF?
von: Cho, Taehyun, et al.
Veröffentlicht: (2025)

Preference Alignment with Flow Matching
von: Kim, Minu, et al.
Veröffentlicht: (2024)

Provable Reward-Agnostic Preference-Based Reinforcement Learning
von: Zhan, Wenhao, et al.
Veröffentlicht: (2023)

Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
von: Qin, Hao, et al.
Veröffentlicht: (2025)

Learning Explainable Dense Reward Shapes via Bayesian Optimization
von: Koo, Ryan, et al.
Veröffentlicht: (2025)

HiPPO-KAN: Efficient KAN Model for Time Series Analysis
von: Lee, SangJong, et al.
Veröffentlicht: (2024)

Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
von: Kim, Jeonghye, et al.
Veröffentlicht: (2024)

Adaptive Experimentation When You Can't Experiment
von: Zhao, Yao, et al.
Veröffentlicht: (2024)

Fixing the Loose Brake: Exponential-Tailed Stopping Time in Best Arm Identification
von: Balagopalan, Kapilan, et al.
Veröffentlicht: (2024)

TEDDY: Trimming Edges with Degree-based Discrimination strategY
von: Seo, Hyunjin, et al.
Veröffentlicht: (2024)

Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
von: Yamamoto, Naoya, et al.
Veröffentlicht: (2025)

On the Convergence of Continual Learning with Adaptive Methods
von: Han, Seungyub, et al.
Veröffentlicht: (2024)