Modality Collapse as Mismatched Decoding: Information-Theoretic Limits of Multimodal LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Billa, Jayadev
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Geometric Anatomy of Capability Acquisition in Transformers
von: Billa, Jayadev
Veröffentlicht: (2026)

The Cascade Equivalence Hypothesis: When Do Speech LLMs Behave Like ASR$\rightarrow$LLM Pipelines?
von: Billa, Jayadev
Veröffentlicht: (2026)

Predicting Where Steering Vectors Succeed
von: Billa, Jayadev
Veröffentlicht: (2026)

Understanding Multimodal LLMs Under Distribution Shifts: An Information-Theoretic Approach
von: Oh, Changdae, et al.
Veröffentlicht: (2025)

When Audio-LLMs Don't Listen: A Cross-Linguistic Study of Modality Arbitration
von: Billa, Jayadev
Veröffentlicht: (2026)

GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations
von: Duan, Jinhao, et al.
Veröffentlicht: (2024)

The Price of Format: Diversity Collapse in LLMs
von: Yun, Longfei, et al.
Veröffentlicht: (2025)

A Theoretical Perspective for Speculative Decoding Algorithm
von: Yin, Ming, et al.
Veröffentlicht: (2024)

Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
von: Phan, Phuc, et al.
Veröffentlicht: (2024)

Theoretical Benefit and Limitation of Diffusion Language Model
von: Feng, Guhao, et al.
Veröffentlicht: (2025)

Controlling Multimodal LLMs via Reward-guided Decoding
von: Mañas, Oscar, et al.
Veröffentlicht: (2025)

MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
von: Devadiga, Prathamesh, et al.
Veröffentlicht: (2025)

HiSpec: Hierarchical Speculative Decoding for LLMs
von: Kumar, Avinash, et al.
Veröffentlicht: (2025)

On Speculative Decoding for Multimodal Large Language Models
von: Gagrani, Mukul, et al.
Veröffentlicht: (2024)

Draft-Conditioned Constrained Decoding for Structured Generation in LLMs
von: Reddy, Avinash, et al.
Veröffentlicht: (2026)

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs
von: Liu, Zhenhua, et al.
Veröffentlicht: (2025)

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models
von: Sanyal, Sunny, et al.
Veröffentlicht: (2024)

Quantifying Modality Contributions via Disentangling Multimodal Representations
von: Amit, Padegal, et al.
Veröffentlicht: (2025)

RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization
von: Dong, Yihong, et al.
Veröffentlicht: (2025)

Nudging: Inference-time Alignment of LLMs via Guided Decoding
von: Fei, Yu, et al.
Veröffentlicht: (2024)

Weak-to-Strong Elicitation via Mismatched Wrong Drafts
von: Deng, Wei
Veröffentlicht: (2026)

Diagnosing Training Inference Mismatch in LLM Reinforcement Learning
von: Zhong, Tianle, et al.
Veröffentlicht: (2026)

Defeating the Training-Inference Mismatch via FP16
von: Qi, Penghui, et al.
Veröffentlicht: (2025)

Connect, Collapse, Corrupt: Learning Cross-Modal Tasks with Uni-Modal Data
von: Zhang, Yuhui, et al.
Veröffentlicht: (2024)

Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs
von: Sahoo, Subramanyam
Veröffentlicht: (2026)

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs
von: Choi, Yumin, et al.
Veröffentlicht: (2025)

ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning
von: Lin, Bill Yuchen, et al.
Veröffentlicht: (2025)

When Correct Beliefs Collapse: Epistemic Resilience of LLMs under Clinical Pressure
von: Xiao, Boyu, et al.
Veröffentlicht: (2026)

Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)

Cross-Modal Augmentation for Few-Shot Multimodal Fake News Detection
von: Jiang, Ye, et al.
Veröffentlicht: (2024)

Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
von: Goel, Raghavv, et al.
Veröffentlicht: (2024)

Information-Theoretic Reward Decomposition for Generalizable RLHF
von: Mao, Liyuan, et al.
Veröffentlicht: (2025)

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Accelerating Diffusion LLMs via Adaptive Parallel Decoding
von: Israel, Daniel, et al.
Veröffentlicht: (2025)

A Surprising Failure? Multimodal LLMs and the NLVR Challenge
von: Wu, Anne, et al.
Veröffentlicht: (2024)

Calibrated Surprise: An Information-Theoretic Account of Creative Quality
von: Zou, Bo, et al.
Veröffentlicht: (2026)

KITE: Kernelized and Information Theoretic Exemplars for In-Context Learning
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Decomposing the Depth Profile of Fine-Tuning
von: Billa, Jayadev
Veröffentlicht: (2026)

Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models
von: Park, Jean, et al.
Veröffentlicht: (2024)

A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits
von: Zhang, Yuyang, et al.
Veröffentlicht: (2026)