Buchumschlag

Mixed Preference Optimization: Reinforcement Learning with Data Selection and Better Reference Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gou, Qi, Nguyen, Cam-Tu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Retrospex: Language Agent Meets Offline Reinforcement Learning Critic
von: Xiang, Yufei, et al.
Veröffentlicht: (2025)

Mitigating the Impact of False Negatives in Dense Retrieval with Contrastive Confidence Regularization
von: Wang, Shiqi, et al.
Veröffentlicht: (2023)

LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States
von: Zhang, Yeqin, et al.
Veröffentlicht: (2026)

Multi-Reference Preference Optimization for Large Language Models
von: Le, Hung, et al.
Veröffentlicht: (2024)

Shallow Preference Signals: Large Language Model Aligns Even Better with Truncated Data?
von: Qi, Xuan, et al.
Veröffentlicht: (2025)

Limited Preference Data? Learning Better Reward Model with Latent Space Synthesis
von: Tao, Leitian, et al.
Veröffentlicht: (2025)

Reward Difference Optimization For Sample Reweighting In Offline RLHF
von: Wang, Shiqi, et al.
Veröffentlicht: (2024)

Comparative Opinion Mining in Product Reviews: Multi-perspective Prompt-based Learning
von: Nguyen, Hai-Yen Thi, et al.
Veröffentlicht: (2024)

Inverse-Q*: Token Level Reinforcement Learning for Aligning Large Language Models Without Preference Data
von: Xia, Han, et al.
Veröffentlicht: (2024)

Pre-DPO: Improving Data Utilization in Direct Preference Optimization Using a Guiding Reference Model
von: Pan, Junshu, et al.
Veröffentlicht: (2025)

ORPO: Monolithic Preference Optimization without Reference Model
von: Hong, Jiwoo, et al.
Veröffentlicht: (2024)

Length-Controlled Margin-Based Preference Optimization without Reference Model
von: Li, Gengxu, et al.
Veröffentlicht: (2025)

Momentum Posterior Regularization for Multi-hop Dense Retrieval
von: Xia, Zehua, et al.
Veröffentlicht: (2024)

SIMPLEMIX: Frustratingly Simple Mixing of Off- and On-policy Data in Language Model Preference Learning
von: Li, Tianjian, et al.
Veröffentlicht: (2025)

Learning to Compress: Unlocking the Potential of Large Language Models for Text Representation
von: Zhang, Yeqin, et al.
Veröffentlicht: (2025)

Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization
von: Saeidi, Amir, et al.
Veröffentlicht: (2024)

Understanding Reference Policies in Direct Preference Optimization
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

References Indeed Matter? Reference-Free Preference Optimization for Conversational Query Reformulation
von: Kim, Doyoung, et al.
Veröffentlicht: (2025)

UFO-RL: Uncertainty-Focused Optimization for Efficient Reinforcement Learning Data Selection
von: Zhao, Yang, et al.
Veröffentlicht: (2025)

Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization
von: Jiang, Yuxin, et al.
Veröffentlicht: (2024)

World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning
von: Wang, Siyin, et al.
Veröffentlicht: (2025)

Alignment Data Map for Efficient Preference Data Selection and Diagnosis
von: Lee, Seohyeong, et al.
Veröffentlicht: (2025)

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization
von: Xiao, Yao, et al.
Veröffentlicht: (2025)

Energy-Based Preference Model Offers Better Offline Alignment than the Bradley-Terry Preference Model
von: Hong, Yuzhong, et al.
Veröffentlicht: (2024)

General Preference Reinforcement Learning
von: Umer, Muhammad, et al.
Veröffentlicht: (2026)

Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
von: Aakanksha, et al.
Veröffentlicht: (2024)

BPO: Revisiting Preference Modeling in Direct Preference Optimization
von: Sun, Lin, et al.
Veröffentlicht: (2025)

Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap
von: Qi, Xuan, et al.
Veröffentlicht: (2025)

Reverse Engineering Human Preferences with Reinforcement Learning
von: Alazraki, Lisa, et al.
Veröffentlicht: (2025)

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization
von: Wang, Weiyun, et al.
Veröffentlicht: (2024)

Beyond SFT: Reinforcement Learning for Safer Large Reasoning Models with Better Reasoning Ability
von: Jia, Jinghan, et al.
Veröffentlicht: (2025)

More Data or Better Data? A Critical Analysis of Data Selection and Synthesis for Mathematical Reasoning
von: Zhao, Yike, et al.
Veröffentlicht: (2025)

SimPO: Simple Preference Optimization with a Reference-Free Reward
von: Meng, Yu, et al.
Veröffentlicht: (2024)

TECO: Improving Multimodal Intent Recognition with Text Enhancement through Commonsense Knowledge Extraction
von: Nguyen, Quynh-Mai Thi, et al.
Veröffentlicht: (2024)

Are Generative Models Underconfident? Better Quality Estimation with Boosted Model Probability
von: Dinh, Tu Anh, et al.
Veröffentlicht: (2025)

We Need to Measure Data Diversity in NLP -- Better and Broader
von: Nguyen, Dong, et al.
Veröffentlicht: (2025)

Learning from Reference Answers: Versatile Language Model Alignment without Binary Human Preference Data
von: Zhao, Shuai, et al.
Veröffentlicht: (2025)

Preference Distillation via Value based Reinforcement Learning
von: Kwon, Minchan, et al.
Veröffentlicht: (2025)

Learning to Better Search with Language Models via Guided Reinforced Self-Training
von: Moon, Seungyong, et al.
Veröffentlicht: (2024)

Mixed Distillation Helps Smaller Language Model Better Reasoning
von: Li, Chenglin, et al.
Veröffentlicht: (2023)