Buchumschlag

$f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Han, Jiaqi, Jiang, Mingjian, Song, Yuxuan, Ermon, Stefano, Xu, Minkai
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Divergence Minimization Preference Optimization for Diffusion Model Alignment
von: Li, Binxu, et al.
Veröffentlicht: (2025)

RFG: Test-Time Scaling for Diffusion Large Language Model Reasoning with Reward-Free Guidance
von: Chen, Tianlang, et al.
Veröffentlicht: (2025)

Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective
von: Ou, Jingyang, et al.
Veröffentlicht: (2025)

Disentangling Length from Quality in Direct Preference Optimization
von: Park, Ryan, et al.
Veröffentlicht: (2024)

Energy-Based Diffusion Language Models for Text Generation
von: Xu, Minkai, et al.
Veröffentlicht: (2024)

Geometric Trajectory Diffusion Models
von: Han, Jiaqi, et al.
Veröffentlicht: (2024)

DuPO: Enabling Reliable LLM Self-Verification via Dual Preference Optimization
von: She, Shuaijie, et al.
Veröffentlicht: (2025)

Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding
von: Guo, Gabe, et al.
Veröffentlicht: (2025)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model
von: Rafailov, Rafael, et al.
Veröffentlicht: (2023)

Variational f-divergence Minimization
von: Zhang, Mingtian, et al.
Veröffentlicht: (2019)

Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
von: Shen, Yangyi, et al.
Veröffentlicht: (2026)

LiPO: Listwise Preference Optimization through Learning-to-Rank
von: Liu, Tianqi, et al.
Veröffentlicht: (2024)

SimPO: Simple Preference Optimization with a Reference-Free Reward
von: Meng, Yu, et al.
Veröffentlicht: (2024)

Inference-Time Scaling of Diffusion Language Models via Trajectory Refinement
von: Dang, Meihua, et al.
Veröffentlicht: (2025)

Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
von: Lou, Aaron, et al.
Veröffentlicht: (2023)

Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models
von: Wang, Austin, et al.
Veröffentlicht: (2026)

Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation
von: Manvi, Rohin, et al.
Veröffentlicht: (2024)

CHORDS: Diffusion Sampling Accelerator with Multi-core Hierarchical ODE Solvers
von: Han, Jiaqi, et al.
Veröffentlicht: (2025)

FSPO: Few-Shot Optimization of Synthetic Preferences Personalizes to Real Users
von: Singh, Anikait, et al.
Veröffentlicht: (2025)

PerPO: Perceptual Preference Optimization via Discriminative Rewarding
von: Zhu, Zining, et al.
Veröffentlicht: (2025)

Align Your Structures: Generating Trajectories with Structure Pretraining for Molecular Dynamics
von: Iyengar, Aniketh, et al.
Veröffentlicht: (2026)

Adaptive Preference Optimization with Uncertainty-aware Utility Anchor
von: Wang, Xiaobo, et al.
Veröffentlicht: (2025)

RankPO: Preference Optimization for Job-Talent Matching
von: Zhang, Yafei, et al.
Veröffentlicht: (2025)

LongPO: Long Context Self-Evolution of Large Language Models through Short-to-Long Preference Optimization
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

Length Desensitization in Direct Preference Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2024)

Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs
von: Yang, Ling, et al.
Veröffentlicht: (2024)

ConfPO: Exploiting Policy Model Confidence for Critical Token Selection in Preference Optimization
von: Yoon, Hee Suk, et al.
Veröffentlicht: (2025)

ComPO: Preference Alignment via Comparison Oracles
von: Chen, Peter, et al.
Veröffentlicht: (2025)

RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization
von: Liu, Tianci, et al.
Veröffentlicht: (2025)

GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters
von: Zhao, Wanjia, et al.
Veröffentlicht: (2025)

GeoLLM: Extracting Geospatial Knowledge from Large Language Models
von: Manvi, Rohin, et al.
Veröffentlicht: (2023)

Optimizing fMRI Data Acquisition for Decoding Natural Speech with Limited Participants
von: Jalouzot, Louis, et al.
Veröffentlicht: (2025)

TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation
von: Shi, Juntong, et al.
Veröffentlicht: (2024)

Contextualized Diffusion Models for Text-Guided Image and Video Generation
von: Yang, Ling, et al.
Veröffentlicht: (2024)

Energy-Based Preference Model Offers Better Offline Alignment than the Bradley-Terry Preference Model
von: Hong, Yuzhong, et al.
Veröffentlicht: (2024)

WPO: Enhancing RLHF with Weighted Preference Optimization
von: Zhou, Wenxuan, et al.
Veröffentlicht: (2024)

Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment
von: Sun, Shengyang, et al.
Veröffentlicht: (2025)

SparsePO: Controlling Preference Alignment of LLMs via Sparse Token Masks
von: Christopoulou, Fenia, et al.
Veröffentlicht: (2024)

On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization
von: Lin, Yong, et al.
Veröffentlicht: (2024)

Putting It All into Context: Simplifying Agents with LCLMs
von: Jiang, Mingjian, et al.
Veröffentlicht: (2025)