Buchumschlag

Acceleration Multiple Heads Decoding for LLM via Dynamic Tree Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Zhang, Zhendong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding
von: Xiao, Zhongyu, et al.
Veröffentlicht: (2026)

Multi-Head Attention Driven Dynamic Visual-Semantic Embedding for Enhanced Image-Text Matching
von: Chen, Wenjing
Veröffentlicht: (2024)

Debiasing CLIP: Interpreting and Correcting Bias in Attention Heads
von: Yeo, Wei Jie, et al.
Veröffentlicht: (2025)

CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers
von: Shi, Dachuan, et al.
Veröffentlicht: (2023)

ViSpec: Accelerating Vision-Language Models with Vision-Aware Speculative Decoding
von: Kang, Jialiang, et al.
Veröffentlicht: (2025)

Mixture of Decoding: An Attention-Inspired Adaptive Decoding Strategy to Mitigate Hallucinations in Large Vision-Language Models
von: Chen, Xinlong, et al.
Veröffentlicht: (2025)

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
von: Huang, Yushi, et al.
Veröffentlicht: (2025)

Head Pursuit: Probing Attention Specialization in Multimodal Transformers
von: Basile, Lorenzo, et al.
Veröffentlicht: (2025)

Flash Window Attention: speedup the attention computation for Swin Transformer
von: Zhang, Zhendong
Veröffentlicht: (2025)

Modality Bias in LVLMs: Analyzing and Mitigating Object Hallucination via Attention Lens
von: Zheng, Haohan, et al.
Veröffentlicht: (2025)

$\mathcal{V}isi\mathcal{P}runer$: Decoding Discontinuous Cross-Modal Dynamics for Efficient Multimodal LLMs
von: Fan, Yingqi, et al.
Veröffentlicht: (2025)

Decoding by Perturbation: Mitigating MLLM Hallucinations via Dynamic Textual Perturbation
von: Jia, Sihang, et al.
Veröffentlicht: (2026)

ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM
von: Wang, Yujun, et al.
Veröffentlicht: (2025)

Dual-branch Prompting for Multimodal Machine Translation
von: Wang, Jie, et al.
Veröffentlicht: (2025)

APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention
von: Huang, Yuxiang, et al.
Veröffentlicht: (2026)

Mitigating Object Hallucination via Concentric Causal Attention
von: Xing, Yun, et al.
Veröffentlicht: (2024)

MaskCD: Mitigating LVLM Hallucinations by Image Head Masked Contrastive Decoding
von: Deng, Jingyuan, et al.
Veröffentlicht: (2025)

Growing a Multi-head Twig via Distillation and Reinforcement Learning to Accelerate Large Vision-Language Models
von: Shao, Zhenwei, et al.
Veröffentlicht: (2025)

Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head
von: Zhao, Tiancheng, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
von: Zhang, Huatian, et al.
Veröffentlicht: (2026)

KBE-DME: Dynamic Multimodal Evaluation via Knowledge Enhanced Benchmark Evolution
von: Zhang, Junzhe, et al.
Veröffentlicht: (2025)

PyramidDrop: Accelerating Your Large Vision-Language Models via Pyramid Visual Redundancy Reduction
von: Xing, Long, et al.
Veröffentlicht: (2024)

SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning
von: Huang, Haoyu, et al.
Veröffentlicht: (2026)

Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance
von: Zhao, Haozhe, et al.
Veröffentlicht: (2024)

InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion
von: Yan, Zhaoyi, et al.
Veröffentlicht: (2025)

Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues
von: Zhang, Zory, et al.
Veröffentlicht: (2025)

CPJ: Explainable Agricultural Pest Diagnosis via Caption-Prompt-Judge with LLM-Judged Refinement
von: Zhang, Wentao, et al.
Veröffentlicht: (2025)

Faithful-MR1: Faithful Multimodal Reasoning via Anchoring and Reinforcing Visual Attention
von: Tian, Changyuan, et al.
Veröffentlicht: (2026)

Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence
von: He, Jinghan, et al.
Veröffentlicht: (2024)

Enhancing Geo-localization for Crowdsourced Flood Imagery via LLM-Guided Attention
von: Xu, Fengyi, et al.
Veröffentlicht: (2025)

Watch Closely: Mitigating Object Hallucinations in Large Vision-Language Models with Disentangled Decoding
von: Ma, Ruiqi, et al.
Veröffentlicht: (2025)

Modality-Agnostic fMRI Decoding of Vision and Language
von: Nikolaus, Mitja, et al.
Veröffentlicht: (2024)

Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs
von: Zhang, Xuan, et al.
Veröffentlicht: (2025)

Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking
von: Li, Jingru, et al.
Veröffentlicht: (2026)

Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models
von: Zhang, Ce, et al.
Veröffentlicht: (2025)

VERA: Identifying and Leveraging Visual Evidence Retrieval Heads in Long-Context Understanding
von: Pei, Rongcan, et al.
Veröffentlicht: (2026)

Dynamic Relation Inference via Verb Embeddings
von: Suissa, Omri, et al.
Veröffentlicht: (2025)

VEGAS: Mitigating Hallucinations in Large Vision-Language Models via Vision-Encoder Attention Guided Adaptive Steering
von: Wang, Zihu, et al.
Veröffentlicht: (2025)

From Heads to Neurons: Causal Attribution and Steering in Multi-Task Vision-Language Models
von: Wang, Qidong, et al.
Veröffentlicht: (2026)

Out-of-Distribution Detection with Attention Head Masking for Multimodal Document Classification
von: Constantinou, Christos, et al.
Veröffentlicht: (2024)