Buchumschlag

Measuring the Redundancy of Decoder Layers in SpeechLLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Moumen, Adel, Sun, Guangzhi, Woodland, Philip C
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Cross-Lingual Interleaving for Speech Language Models
von: Moumen, Adel, et al.
Veröffentlicht: (2025)

CASE-Bench: Context-Aware SafEty Benchmark for Large Language Models
von: Sun, Guangzhi, et al.
Veröffentlicht: (2025)

DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
von: Papi, Sara, et al.
Veröffentlicht: (2026)

Late Fusion and Multi-Level Fission Amplify Cross-Modal Transfer in Text-Speech LMs
von: Cuervo, Santiago, et al.
Veröffentlicht: (2025)

Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps
von: Waldendorf, Jonas, et al.
Veröffentlicht: (2026)

Streaming Speech-to-Text Translation with a SpeechLLM
von: Parcollet, Titouan, et al.
Veröffentlicht: (2026)

SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings
von: Yoo, Jaekwon, et al.
Veröffentlicht: (2025)

Conversational Speech Reveals Structural Robustness Failures in SpeechLLM Backbones
von: Teleki, Maria, et al.
Veröffentlicht: (2025)

Rubric-Guided Fine-tuning of SpeechLLMs for Multi-Aspect, Multi-Rater L2 Reading-Speech Assessment
von: Parikh, Aditya Kamlesh, et al.
Veröffentlicht: (2026)

Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
von: Satish, Shree Harsha Bokkahalli, et al.
Veröffentlicht: (2025)

Better Pseudo-labeling with Multi-ASR Fusion and Error Correction by SpeechLLM
von: Prakash, Jeena, et al.
Veröffentlicht: (2025)

Protecting Bystander Privacy via Selective Hearing in Audio LLMs
von: Zhan, Xiao, et al.
Veröffentlicht: (2025)

Low-Rank and Sparse Model Merging for Multi-Lingual Speech Recognition and Translation
von: Zhao, Qiuming, et al.
Veröffentlicht: (2025)

NeuSpeech: Decode Neural signal as Speech
von: Yang, Yiqian, et al.
Veröffentlicht: (2024)

Do We Need Distinct Representations for Every Speech Token? Unveiling and Exploiting Redundancy in Large Speech Language Models
von: Xiang, Bajian, et al.
Veröffentlicht: (2026)

Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs
von: Sun, Chenxi, et al.
Veröffentlicht: (2024)

Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation
von: Srivastav, Vaibhav, et al.
Veröffentlicht: (2025)

Minimising Biasing Word Errors for Contextual ASR with the Tree-Constrained Pointer Generator
von: Sun, Guangzhi, et al.
Veröffentlicht: (2022)

Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
von: Brown, Oscar, et al.
Veröffentlicht: (2024)

Slot Filling as a Reasoning Task for SpeechLLMs
von: Hacioglu, Kadri, et al.
Veröffentlicht: (2025)

Time-Scaling Is What Agents Need Now
von: Liu, Zhi, et al.
Veröffentlicht: (2026)

Matching domain experts by training from scratch on domain knowledge
von: Luo, Xiaoliang, et al.
Veröffentlicht: (2024)

SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
von: Yu, Wenyi, et al.
Veröffentlicht: (2025)

WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild
von: Zhang, Linhao, et al.
Veröffentlicht: (2025)

Streamlining Redundant Layers to Compress Large Language Models
von: Chen, Xiaodong, et al.
Veröffentlicht: (2024)

LFD: Layer Fused Decoding to Exploit External Knowledge in Retrieval-Augmented Generation
von: Sun, Yang, et al.
Veröffentlicht: (2025)

Multi-Personality Generation of LLMs at Decoding-time
von: Chen, Rongxin, et al.
Veröffentlicht: (2025)

PAD: Personalized Alignment of LLMs at Decoding-Time
von: Chen, Ruizhe, et al.
Veröffentlicht: (2024)

Redundancy Principles for MLLMs Benchmarks
von: Zhang, Zicheng, et al.
Veröffentlicht: (2025)

ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs
von: Chen, Keyu, et al.
Veröffentlicht: (2025)

Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers
von: Ye, Donald
Veröffentlicht: (2026)

The Diminishing Returns of Early-Exit Decoding in Modern LLMs
von: Wei, Rui, et al.
Veröffentlicht: (2026)

Decoding Emotion: Speech Perception Patterns in Individuals with Self-reported Depression
von: Vats, Guneesh, et al.
Veröffentlicht: (2024)

Hallucination Detection with the Internal Layers of LLMs
von: Preiß, Martin
Veröffentlicht: (2025)

Rethinking Layer Redundancy: Calibration Matters More Than Search in LLM Depth Pruning
von: Kim, Minkyu, et al.
Veröffentlicht: (2026)

Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing
von: Wang, Mengqi, et al.
Veröffentlicht: (2025)

Scientific Knowledge-driven Decoding Constraints Improving the Reliability of LLMs
von: Ma, Maotian, et al.
Veröffentlicht: (2026)

Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs
von: Sen, Jaydip, et al.
Veröffentlicht: (2025)

Adaptive Layer-skipping in Pre-trained LLMs
von: Luo, Xuan, et al.
Veröffentlicht: (2025)

Speech-Worthy Alignment for Japanese SpeechLLMs via Direct Preference Optimization
von: Zhao, Mengjie, et al.
Veröffentlicht: (2026)