Buchumschlag

Decoupled Proxy Alignment: Mitigating Language Prior Conflict for Multimodal Alignment in MLLM

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tan, Chenkun, Wang, Pengyu, Zhou, Shaojun, Jiang, Botian, Li, Zhaowei, Zhang, Dong, Wang, Xinghao, Zhou, Yaqian, Qiu, Xipeng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

UnifiedVisual: A Framework for Constructing Unified Vision-Language Datasets
von: Wang, Pengyu, et al.
Veröffentlicht: (2025)

InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance
von: Wang, Pengyu, et al.
Veröffentlicht: (2024)

MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time
von: Zhang, Mozhi, et al.
Veröffentlicht: (2024)

SpeechAgents: Human-Communication Simulation with Multi-Modal Multi-Agent Systems
von: Zhang, Dong, et al.
Veröffentlicht: (2024)

Sparser Block-Sparse Attention via Token Permutation
von: Wang, Xinghao, et al.
Veröffentlicht: (2025)

SpeechAlign: Aligning Speech Generation to Human Preferences
von: Zhang, Dong, et al.
Veröffentlicht: (2024)

BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments
von: Wang, Xinghao, et al.
Veröffentlicht: (2024)

UnifiedMLLM: Enabling Unified Representation for Multi-modal Multi-tasks With Large Language Model
von: Li, Zhaowei, et al.
Veröffentlicht: (2024)

Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy
von: Zhu, Yu, et al.
Veröffentlicht: (2024)

DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning
von: Wang, Xinghao, et al.
Veröffentlicht: (2024)

LongSafety: Enhance Safety for Long-Context LLMs
von: Huang, Mianqiu, et al.
Veröffentlicht: (2024)

Understanding the Role of LLMs in Multimodal Evaluation Benchmarks
von: Jiang, Botian, et al.
Veröffentlicht: (2024)

SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models
von: Zhang, Xin, et al.
Veröffentlicht: (2023)

The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
von: Zhou, Yunhua, et al.
Veröffentlicht: (2022)

Alignment for Honesty
von: Yang, Yuqing, et al.
Veröffentlicht: (2023)

Agent Alignment in Evolving Social Norms
von: Li, Shimin, et al.
Veröffentlicht: (2024)

Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning
von: Fang, Tianqing, et al.
Veröffentlicht: (2023)

Multi-hop Reasoning via Early Knowledge Alignment
von: Wang, Yuxin, et al.
Veröffentlicht: (2025)

Integrating Chain-of-Thought for Multimodal Alignment: A Study on 3D Vision-Language Learning
von: Chen, Yanjun, et al.
Veröffentlicht: (2025)

Prism: Spectral-Aware Block-Sparse Attention
von: Wang, Xinghao, et al.
Veröffentlicht: (2026)

SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
von: Zhang, Dong, et al.
Veröffentlicht: (2024)

Flames: Benchmarking Value Alignment of LLMs in Chinese
von: Huang, Kexin, et al.
Veröffentlicht: (2023)

Decoupling Safety into Orthogonal Subspace: Cost-Efficient and Performance-Preserving Alignment for Large Language Models
von: Mou, Yutao, et al.
Veröffentlicht: (2025)

Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment
von: Li, Moxin, et al.
Veröffentlicht: (2025)

Rethinking the Role of Proxy Rewards in Language Model Alignment
von: Kim, Sungdong, et al.
Veröffentlicht: (2024)

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment
von: Bian, Zhipeng, et al.
Veröffentlicht: (2026)

OralMLLM-Bench: Evaluating Cognitive Capabilities of Multimodal Large Language Models in Dental Practice
von: Wang, Rongyang, et al.
Veröffentlicht: (2026)

Calibrating the Confidence of Large Language Models by Eliciting Fidelity
von: Zhang, Mozhi, et al.
Veröffentlicht: (2024)

MedCare: Advancing Medical LLMs through Decoupling Clinical Alignment and Knowledge Aggregation
von: Liao, Yusheng, et al.
Veröffentlicht: (2024)

Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model
von: Wang, Siyin, et al.
Veröffentlicht: (2024)

Value-Conflict Diagnostics Reveal Widespread Alignment Faking in Language Models
von: Nair, Inderjeet, et al.
Veröffentlicht: (2026)

Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment
von: Wang, Kun, et al.
Veröffentlicht: (2026)

On the Rejection Criterion for Proxy-based Test-time Alignment
von: Hammal, Ayoub, et al.
Veröffentlicht: (2026)

Efficient Model-agnostic Alignment via Bayesian Persuasion
von: Bai, Fengshuo, et al.
Veröffentlicht: (2024)

Lambda: Learning Matchable Prior For Entity Alignment with Unlabeled Dangling Cases
von: Yin, Hang, et al.
Veröffentlicht: (2024)

Normative Conflicts and Shallow AI Alignment
von: Millière, Raphaël
Veröffentlicht: (2025)

NILE: Internal Consistency Alignment in Large Language Models
von: Hu, Minda, et al.
Veröffentlicht: (2024)

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
von: Sun, Guanglong, et al.
Veröffentlicht: (2026)

Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning
von: Zhang, Jingshen, et al.
Veröffentlicht: (2024)

MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark
von: Chen, Dongping, et al.
Veröffentlicht: (2024)