Buchumschlag

Enhancing LLM Safety via Constrained Direct Preference Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zixuan, Sun, Xiaolin, Zheng, Zizhan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
von: Liu, Zixuan, et al.
Veröffentlicht: (2026)

Understanding Reference Policies in Direct Preference Optimization
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations
von: Sun, Xiaolin, et al.
Veröffentlicht: (2024)

Length Desensitization in Direct Preference Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2024)

Orthogonal Finetuning for Direct Preference Optimization
von: Yang, Chenxu, et al.
Veröffentlicht: (2024)

Accelerating Direct Preference Optimization with Prefix Sharing
von: Wang, Franklin, et al.
Veröffentlicht: (2024)

Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game
von: Cheng, Pengyu, et al.
Veröffentlicht: (2023)

Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
von: Gong, Zixuan, et al.
Veröffentlicht: (2025)

Filtered Direct Preference Optimization
von: Morimura, Tetsuro, et al.
Veröffentlicht: (2024)

Direct Preference Optimization with an Offset
von: Amini, Afra, et al.
Veröffentlicht: (2024)

Direct Multi-Turn Preference Optimization for Language Agents
von: Shi, Wentao, et al.
Veröffentlicht: (2024)

The Crucial Role of Samplers in Online Direct Preference Optimization
von: Shi, Ruizhe, et al.
Veröffentlicht: (2024)

Disentangling Length from Quality in Direct Preference Optimization
von: Park, Ryan, et al.
Veröffentlicht: (2024)

VERI-DPO: Evidence-Aware Alignment for Clinical Summarization via Claim Verification and Direct Preference Optimization
von: Liu, Weixin, et al.
Veröffentlicht: (2026)

DreamDPO: Aligning Text-to-3D Generation with Human Preferences via Direct Preference Optimization
von: Zhou, Zhenglin, et al.
Veröffentlicht: (2025)

DuPO: Enabling Reliable LLM Self-Verification via Dual Preference Optimization
von: She, Shuaijie, et al.
Veröffentlicht: (2025)

Entropy Controllable Direct Preference Optimization
von: Omura, Motoki, et al.
Veröffentlicht: (2024)

Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
von: Kim, Dongyoung, et al.
Veröffentlicht: (2024)

Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
von: Nahian, Md Sultan Al, et al.
Veröffentlicht: (2024)

TGDPO: Harnessing Token-Level Reward Guidance for Enhancing Direct Preference Optimization
von: Zhu, Mingkang, et al.
Veröffentlicht: (2025)

Refined Direct Preference Optimization with Synthetic Data for Behavioral Alignment of LLMs
von: Gallego, Víctor
Veröffentlicht: (2024)

Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment
von: Xiao, Teng, et al.
Veröffentlicht: (2024)

PerPO: Perceptual Preference Optimization via Discriminative Rewarding
von: Zhu, Zining, et al.
Veröffentlicht: (2025)

Adaptive Preference Optimization with Uncertainty-aware Utility Anchor
von: Wang, Xiaobo, et al.
Veröffentlicht: (2025)

MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference
von: Köster, Joris, et al.
Veröffentlicht: (2026)

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
von: Huang, Audrey, et al.
Veröffentlicht: (2024)

On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization
von: Lin, Yong, et al.
Veröffentlicht: (2024)

AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates
von: Chen, Shaolong, et al.
Veröffentlicht: (2026)

Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning
von: Fan, Chongyu, et al.
Veröffentlicht: (2024)

FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment
von: Zhu, Kewen, et al.
Veröffentlicht: (2026)

Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization
von: Razin, Noam, et al.
Veröffentlicht: (2024)

Enhancing LLM Agent Safety via Causal Influence Prompting
von: Hahm, Dongyoon, et al.
Veröffentlicht: (2025)

InCo-DPO: Balancing Distribution Shift and Data Quality for Enhanced Preference Optimization
von: Wang, Yunan, et al.
Veröffentlicht: (2025)

Safety Training Persists Through Helpfulness Optimization in LLM Agents
von: Plaut, Benjamin
Veröffentlicht: (2026)

Intrinsic Mutual Information as a Modulator for Preference Optimization
von: Liao, Peng, et al.
Veröffentlicht: (2026)

Federated Fine-Tuning of Large Language Models: Kahneman-Tversky vs. Direct Preference Optimization
von: Spadea, Fernando, et al.
Veröffentlicht: (2025)

AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization
von: Wu, Junkang, et al.
Veröffentlicht: (2024)

Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models
von: Zhang, Wenxuan, et al.
Veröffentlicht: (2024)

What Matters in LLM-generated Data: Diversity and Its Effect on Model Fine-Tuning
von: Zhu, Yuchang, et al.
Veröffentlicht: (2025)

Less is More: Improving LLM Alignment via Preference Data Selection
von: Deng, Xun, et al.
Veröffentlicht: (2025)