Buchumschlag

MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Vári-Kakas, Andor, Park, Ji Won, Tagasovska, Natasa
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
von: Park, Ji Won, et al.
Veröffentlicht: (2023)

Robust Multi-Objective Preference Alignment with Online DPO
von: Gupta, Raghav, et al.
Veröffentlicht: (2025)

Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient
von: Tagasovska, Nataša, et al.
Veröffentlicht: (2024)

MGDA Converges under Generalized Smoothness, Provably
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

Finding Colorings in One-Sided Expanders
von: Buhai, Rares-Darius, et al.
Veröffentlicht: (2025)

MGDA: Model-based Goal Data Augmentation for Offline Goal-conditioned Weighted Supervised Learning
von: Lei, Xing, et al.
Veröffentlicht: (2024)

Provably Convergent Primal-Dual DPO for Constrained LLM Alignment
von: Du, Yihan, et al.
Veröffentlicht: (2025)

Antibody DomainBed: Out-of-Distribution Generalization in Therapeutic Protein Design
von: Tagasovska, Nataša, et al.
Veröffentlicht: (2024)

Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive
von: Pal, Arka, et al.
Veröffentlicht: (2024)

COS-DPO: Conditioned One-Shot Multi-Objective Fine-Tuning Framework
von: Ren, Yinuo, et al.
Veröffentlicht: (2024)

daDPO: Distribution-Aware DPO for Distilling Conversational Abilities
von: Zhang, Zhengze, et al.
Veröffentlicht: (2025)

Supervised Contrastive Block Disentanglement
von: Makino, Taro, et al.
Veröffentlicht: (2025)

Uncovering Cross-Objective Interference in Multi-Objective Alignment
von: Lu, Yining, et al.
Veröffentlicht: (2026)

The Viscosity of Logic: Phase Transitions and Hysteresis in DPO Alignment
von: Pollanen, Marco
Veröffentlicht: (2026)

VERI-DPO: Evidence-Aware Alignment for Clinical Summarization via Claim Verification and Direct Preference Optimization
von: Liu, Weixin, et al.
Veröffentlicht: (2026)

Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge
von: Lim, Wonseon, et al.
Veröffentlicht: (2026)

Uncertainty modeling for fine-tuned implicit functions
von: Susmelj, Anna, et al.
Veröffentlicht: (2024)

SP^2DPO: An LLM-assisted Semantic Per-Pair DPO Generalization
von: He, Chaoyue, et al.
Veröffentlicht: (2026)

Knowledge Gradient for Multi-Objective Bayesian Optimization with Decoupled Evaluations
von: Buckingham, Jack M., et al.
Veröffentlicht: (2023)

CompassDPO: Dynamics-Controlled Direct Preference Optimization for Robust Safety Alignment
von: Liu, Jilong, et al.
Veröffentlicht: (2026)

MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
von: Rachman, Rifny, et al.
Veröffentlicht: (2026)

MixDPO: Modeling Preference Strength for Pluralistic Alignment
von: Imai, Saki, et al.
Veröffentlicht: (2026)

Reveal the Mystery of DPO: The Connection between DPO and RL Algorithms
von: Su, Xuerui, et al.
Veröffentlicht: (2025)

PARM: Multi-Objective Test-Time Alignment via Preference-Aware Autoregressive Reward Model
von: Lin, Baijiong, et al.
Veröffentlicht: (2025)

Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning
von: Deng, Yihe, et al.
Veröffentlicht: (2024)

A Decoupled Basis-Vector-Driven Generative Framework for Dynamic Multi-Objective Optimization
von: Yang, Yaoming, et al.
Veröffentlicht: (2026)

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment
von: Lin, Xiaoqiang, et al.
Veröffentlicht: (2025)

Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment
von: Xiao, Teng, et al.
Veröffentlicht: (2024)

Provable Last-Iterate Convergence for Multi-Objective Safe LLM Alignment via Optimistic Primal-Dual
von: Li, Yining, et al.
Veröffentlicht: (2026)

Multi-Objective Alignment of Language Models for Personalized Psychotherapy
von: Beikzadeh, Mehrab, et al.
Veröffentlicht: (2026)

Multi-Objective Alignment of Large Language Models Through Hypervolume Maximization
von: Mukherjee, Subhojyoti, et al.
Veröffentlicht: (2024)

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models
von: Agnihotri, Akhil, et al.
Veröffentlicht: (2025)

Center-Outward q-Dominance: A Sample-Computable Proxy for Strong Stochastic Dominance in Multi-Objective Optimisation
von: van der Laag, Robin, et al.
Veröffentlicht: (2025)

Improving LLM Safety Alignment with Dual-Objective Optimization
von: Zhao, Xuandong, et al.
Veröffentlicht: (2025)

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment
von: Yang, Zhiqin, et al.
Veröffentlicht: (2026)

Revisiting Robustness for LLM Safety Alignment via Selective Geometry Control
von: Yang, Yonghui, et al.
Veröffentlicht: (2026)

Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration
von: Wu, Fanyi, et al.
Veröffentlicht: (2026)

Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
von: Park, Giseung, et al.
Veröffentlicht: (2025)

The Alignment Auditor: A Bayesian Framework for Verifying and Refining LLM Objectives
von: Bou, Matthieu, et al.
Veröffentlicht: (2025)

Improving Discrete Optimisation Via Decoupled Straight-Through Estimator
von: Shah, Rushi, et al.
Veröffentlicht: (2024)