Buchumschlag

PEO: Improving Bi-Factorial Preference Alignment with Post-Training Policy Extrapolation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Liu, Yuxuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Not All Preferences are What You Need for Post-Training: Selective Alignment Strategy for Preference Optimization
von: Dong, Zhijin
Veröffentlicht: (2025)

Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models
von: Zhang, Wenxuan, et al.
Veröffentlicht: (2024)

PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training
von: Bobbili, Sarat Chandra, et al.
Veröffentlicht: (2025)

Extrapolation Merging: Keep Improving With Extrapolation and Merging
von: Lin, Yiguan, et al.
Veröffentlicht: (2025)

Model Extrapolation Expedites Alignment
von: Zheng, Chujie, et al.
Veröffentlicht: (2024)

360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training
von: Zou, Haosheng, et al.
Veröffentlicht: (2025)

Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment
von: Xhelili, Orgest, et al.
Veröffentlicht: (2024)

The Limits of Preference Data for Post-Training
von: Zhao, Eric, et al.
Veröffentlicht: (2025)

AIPO: Improving Training Objective for Iterative Preference Optimization
von: Shen, Yaojie, et al.
Veröffentlicht: (2024)

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Preference Alignment Improves Language Model-Based TTS
von: Tian, Jinchuan, et al.
Veröffentlicht: (2024)

MPO: An Efficient Post-Processing Framework for Mixing Diverse Preference Alignment
von: Wang, Tianze, et al.
Veröffentlicht: (2025)

Uncovering Factor Level Preferences to Improve Human-Model Alignment
von: Oh, Juhyun, et al.
Veröffentlicht: (2024)

Well Begun is Half Done: Low-resource Preference Alignment by Weak-to-Strong Decoding
von: Song, Feifan, et al.
Veröffentlicht: (2025)

ICDPO: Effectively Borrowing Alignment Capability of Others via In-context Direct Preference Optimization
von: Song, Feifan, et al.
Veröffentlicht: (2024)

Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
von: Lee, Janghwan, et al.
Veröffentlicht: (2024)

PIKA: Expert-Level Synthetic Datasets for Post-Training Alignment from Scratch
von: Yin, Shangjian, et al.
Veröffentlicht: (2025)

Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning
von: Wang, Tianduo, et al.
Veröffentlicht: (2024)

APT: Improving Specialist LLM Performance with Weakness Case Acquisition and Iterative Preference Training
von: Rao, Jun, et al.
Veröffentlicht: (2025)

Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment
von: Wang, Jialu, et al.
Veröffentlicht: (2026)

Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment
von: Yin, Yueqin, et al.
Veröffentlicht: (2024)

TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation
von: Huang, Chengrui, et al.
Veröffentlicht: (2025)

Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models
von: Das, Souvik, et al.
Veröffentlicht: (2024)

Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
von: Yang, Wenkai, et al.
Veröffentlicht: (2026)

Efficient Temporal Extrapolation of Multimodal Large Language Models with Temporal Grounding Bridge
von: Wang, Yuxuan, et al.
Veröffentlicht: (2024)

SemPA: Improving Sentence Embeddings of Large Language Models through Semantic Preference Alignment
von: Chen, Ziyang, et al.
Veröffentlicht: (2026)

The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs
von: Li, Xin, et al.
Veröffentlicht: (2026)

Recovering Diversity Without Losing Alignment: A DPO Recipe for Post-Trained LLMs
von: Samuel, Vinay, et al.
Veröffentlicht: (2026)

Value Drifts: Tracing Value Alignment During LLM Post-Training
von: Bhatia, Mehar, et al.
Veröffentlicht: (2025)

Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?
von: Sun, Zetian, et al.
Veröffentlicht: (2025)

Statistical Rejection Sampling Improves Preference Optimization
von: Liu, Tianqi, et al.
Veröffentlicht: (2023)

Explaining and Improving Contrastive Decoding by Extrapolating the Probabilities of a Huge and Hypothetical LM
von: Chang, Haw-Shiuan, et al.
Veröffentlicht: (2024)

Breaking Barriers: Do Reinforcement Post Training Gains Transfer To Unseen Domains?
von: Hu, Chuxuan, et al.
Veröffentlicht: (2025)

EpiCoDe: Boosting Model Performance Beyond Training with Extrapolation and Contrastive Decoding
von: Tao, Mingxu, et al.
Veröffentlicht: (2025)

Understanding Reference Policies in Direct Preference Optimization
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

Less is More: Improving LLM Alignment via Preference Data Selection
von: Deng, Xun, et al.
Veröffentlicht: (2025)

AlignTune: Modular Toolkit for Post-Training Alignment of Large Language Models
von: Lyngkhoi, R E Zera Marveen, et al.
Veröffentlicht: (2026)

MemFactory: Unified Inference & Training Framework for Agent Memory
von: Guo, Ziliang, et al.
Veröffentlicht: (2026)

Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback
von: Kim, Kyuyoung, et al.
Veröffentlicht: (2024)

Surgical Post-Training: Proximal On-Policy Distillation for Reasoning with Knowledge Retention
von: Lin, Wenye, et al.
Veröffentlicht: (2026)