Buchumschlag

Token-Importance Guided Direct Preference Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Ning, Lin, Hai, Liu, Yibo, Tian, Baoliang, Liu, Guoqing, Zhang, Haijun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Token-level Direct Preference Optimization
von: Zeng, Yongcheng, et al.
Veröffentlicht: (2024)

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation
von: Yang, Ning, et al.
Veröffentlicht: (2026)

Aligning CodeLLMs with Direct Preference Optimization
von: Miao, Yibo, et al.
Veröffentlicht: (2024)

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
von: Yang, Ning, et al.
Veröffentlicht: (2026)

EnerBridge-DPO: Energy-Guided Protein Inverse Folding with Markov Bridges and Direct Preference Optimization
von: Rong, Dingyi, et al.
Veröffentlicht: (2025)

Offline Policy Optimization with Posterior Sampling
von: Lin, Hongqiang, et al.
Veröffentlicht: (2026)

Preference as Reward, Maximum Preference Optimization with Importance Sampling
von: Jiang, Zaifan, et al.
Veröffentlicht: (2023)

SGDPO: Self-Guided Direct Preference Optimization for Language Model Alignment
von: Zhu, Wenqiao, et al.
Veröffentlicht: (2025)

Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization
von: Savage, Thomas, et al.
Veröffentlicht: (2024)

POLO: Preference-Guided Multi-Turn Reinforcement Learning for Lead Optimization
von: Wang, Ziqing, et al.
Veröffentlicht: (2025)

Breaking the MoE LLM Trilemma: Dynamic Expert Clustering with Structured Compression
von: Zhu, Peijun, et al.
Veröffentlicht: (2025)

LLMdoctor: Token-Level Flow-Guided Preference Optimization for Efficient Test-Time Alignment of Large Language Models
von: Shen, Tiesunlong, et al.
Veröffentlicht: (2026)

On Softmax Direct Preference Optimization for Recommendation
von: Chen, Yuxin, et al.
Veröffentlicht: (2024)

Direct Preference-Based Evolutionary Multi-Objective Optimization with Dueling Bandit
von: Huang, Tian, et al.
Veröffentlicht: (2023)

GIPO: Gaussian Importance Sampling Policy Optimization
von: Lu, Chengxuan, et al.
Veröffentlicht: (2026)

Preference Diffusion for Recommendation
von: Liu, Shuo, et al.
Veröffentlicht: (2024)

Autoregressive Direct Preference Optimization
von: Oi, Masanari, et al.
Veröffentlicht: (2026)

Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization
von: Zhou, Zhanhui, et al.
Veröffentlicht: (2023)

Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences
von: Chidambaram, Keertana, et al.
Veröffentlicht: (2025)

TGDPO: Harnessing Token-Level Reward Guidance for Enhancing Direct Preference Optimization
von: Zhu, Mingkang, et al.
Veröffentlicht: (2025)

Risk-aware Direct Preference Optimization under Nested Risk Measure
von: Zhang, Lijun, et al.
Veröffentlicht: (2025)

Selective Preference Optimization via Token-Level Reward Function Estimation
von: Yang, Kailai, et al.
Veröffentlicht: (2024)

MDPO: Multi-Granularity Direct Preference Optimization for Mathematical Reasoning
von: Lin, Yunze
Veröffentlicht: (2025)

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization
von: Lin, Zhixin, et al.
Veröffentlicht: (2026)

Orthogonal Finetuning for Direct Preference Optimization
von: Yang, Chenxu, et al.
Veröffentlicht: (2024)

Speculative Prefill: Turbocharging TTFT with Lightweight and Training-Free Token Importance Estimation
von: Liu, Jingyu, et al.
Veröffentlicht: (2025)

PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
von: Cao, Zouying, et al.
Veröffentlicht: (2025)

MetaGDPO: Alleviating Catastrophic Forgetting with Metacognitive Knowledge through Group Direct Preference Optimization
von: Zhang, Lanxue, et al.
Veröffentlicht: (2025)

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs
von: Zhang, Shenao, et al.
Veröffentlicht: (2024)

Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective
von: Zhang, Yuheng, et al.
Veröffentlicht: (2026)

Latent Adversarial Regularization for Offline Preference Optimization
von: Jiang, Enyi, et al.
Veröffentlicht: (2026)

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching
von: Nguyen, Truong, et al.
Veröffentlicht: (2026)

T-REG: Preference Optimization with Token-Level Reward Regularization
von: Zhou, Wenxuan, et al.
Veröffentlicht: (2024)

Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions
von: Guo, Qianyun, et al.
Veröffentlicht: (2026)

TokenButler: Token Importance is Predictable
von: Akhauri, Yash, et al.
Veröffentlicht: (2025)

ADPO: Anchored Direct Preference Optimization
von: Zixian, Wang
Veröffentlicht: (2025)

Continuous-Utility Direct Preference Optimization
von: Mohsin, Muhammad Ahmed, et al.
Veröffentlicht: (2026)

SDPO: Segment-Level Direct Preference Optimization for Social Agents
von: Kong, Aobo, et al.
Veröffentlicht: (2025)

$β$-DPO: Direct Preference Optimization with Dynamic $β$
von: Wu, Junkang, et al.
Veröffentlicht: (2024)

DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs
von: Liu, Zhihan, et al.
Veröffentlicht: (2024)