Buchumschlag

Displacement-Resistant Extensions of DPO with Nonconvex $f$-Divergences

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pipano, Idan, Sabach, Shoham, Asadi, Kavosh, Ghavamzadeh, Mohammad
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

C2-DPO: Constrained Controlled Direct Preference Optimization
von: Asadi, Kavosh, et al.
Veröffentlicht: (2025)

Learning the Target Network in Function Space
von: Asadi, Kavosh, et al.
Veröffentlicht: (2024)

Directional-Clamp PPO
von: Karpel, Gilad, et al.
Veröffentlicht: (2025)

TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models
von: Liu, Zuxin, et al.
Veröffentlicht: (2023)

Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains
von: Viano, Luca, et al.
Veröffentlicht: (2026)

Best-of-N through the Smoothing Lens: KL Divergence and Regret Analysis
von: Aminian, Gholamali, et al.
Veröffentlicht: (2025)

Adjoint sharding for very long context training of state space models
von: Xu, Xingzi, et al.
Veröffentlicht: (2025)

Learning to Reason Efficiently with Discounted Reinforcement Learning
von: Ayoub, Alex, et al.
Veröffentlicht: (2025)

FisherSFT: Data-Efficient Supervised Fine-Tuning of Language Models Using Information Gain
von: Deb, Rohan, et al.
Veröffentlicht: (2025)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Bayesian policy gradient and actor-critic algorithms
von: Ghavamzadeh, Mohammad, et al.
Veröffentlicht: (2026)

Bayesian Regret Minimization in Offline Bandits
von: Petrik, Marek, et al.
Veröffentlicht: (2023)

Contextual Bandits with Stage-wise Constraints
von: Pacchiano, Aldo, et al.
Veröffentlicht: (2024)

Comparing Few to Rank Many: Active Human Preference Learning using Randomized Frank-Wolfe
von: Thekumparampil, Kiran Koshy, et al.
Veröffentlicht: (2024)

MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
von: Ozkara, Kaan, et al.
Veröffentlicht: (2024)

Conservative Contextual Bandits: Beyond Linear Representations
von: Deb, Rohan, et al.
Veröffentlicht: (2024)

Online Nonconvex Bilevel Optimization with Bregman Divergences
von: Bohne, Jason, et al.
Veröffentlicht: (2024)

Maximum Entropy Semi-Supervised Inverse Reinforcement Learning
von: Audiffren, Julien, et al.
Veröffentlicht: (2026)

A Proximal Operator for Inducing 2:4-Sparsity
von: Kübler, Jonas M, et al.
Veröffentlicht: (2025)

KL-Regularized RLHF with Multiple Reference Models: Exact Solutions and Sample Complexity
von: Aminian, Gholamali, et al.
Veröffentlicht: (2025)

Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
von: Aminian, Gholamali, et al.
Veröffentlicht: (2024)

ProxSparse: Regularized Learning of Semi-Structured Sparsity Masks for Pretrained LLMs
von: Liu, Hongyi, et al.
Veröffentlicht: (2025)

Reveal the Mystery of DPO: The Connection between DPO and RL Algorithms
von: Su, Xuerui, et al.
Veröffentlicht: (2025)

Regularized $f$-Divergence Kernel Tests
von: Ribero, Mónica, et al.
Veröffentlicht: (2026)

On Weak-to-Strong Generalization and f-Divergence
von: Yao, Wei, et al.
Veröffentlicht: (2025)

RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
von: Hau, Jia Lin, et al.
Veröffentlicht: (2022)

Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis
von: Hau, Jia Lin, et al.
Veröffentlicht: (2024)

Empirical Risk Minimization with $f$-Divergence Regularization
von: Daunas, Francisco, et al.
Veröffentlicht: (2026)

Minimizing $f$-Divergences by Interpolating Velocity Fields
von: Liu, Song, et al.
Veröffentlicht: (2023)

Loss Functions and Operators Generated by f-Divergences
von: Roulet, Vincent, et al.
Veröffentlicht: (2025)

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback
von: Afsharrad, Amirhossein, et al.
Veröffentlicht: (2026)

Ordering-based Conditions for Global Convergence of Policy Gradient Methods
von: Mei, Jincheng, et al.
Veröffentlicht: (2025)

Partition Function Estimation under Bounded f-Divergence
von: Block, Adam, et al.
Veröffentlicht: (2026)

Differentially private ratio statistics
von: Shoham, Tomer, et al.
Veröffentlicht: (2025)

Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS
von: Shoham, Neta, et al.
Veröffentlicht: (2025)

Generalization Error of $f$-Divergence Stabilized Algorithms via Duality
von: Daunas, Francisco, et al.
Veröffentlicht: (2025)

Bounding Neyman-Pearson Region with $f$-Divergences
von: Mullhaupt, Andrew, et al.
Veröffentlicht: (2025)

daDPO: Distribution-Aware DPO for Distilling Conversational Abilities
von: Zhang, Zhengze, et al.
Veröffentlicht: (2025)

Regularization via f-Divergence: An Application to Multi-Oxide Spectroscopic Analysis
von: Li, Weizhi, et al.
Veröffentlicht: (2025)

DeepCFD: Efficient near-ground airfoil lift coefficient approximation with deep convolutional neural networks
von: Esabat, Mohammad Amin, et al.
Veröffentlicht: (2025)