Buchumschlag

UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Deng, Keqi, Ling, Shaoshi, Fan, Ruchao, Li, Jinyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Speech LLMs are Contextual Reasoning Transcribers
von: Deng, Keqi, et al.
Veröffentlicht: (2026)

Post-Training Sparse Attention with Double Sparsity
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio
von: Shi, Mohan, et al.
Veröffentlicht: (2025)

CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
von: Zhao, Rui, et al.
Veröffentlicht: (2024)

Attention Condensation via Sparsity Induced Regularized Training
von: Sason, Eli, et al.
Veröffentlicht: (2025)

Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
von: Ling, Shaoshi, et al.
Veröffentlicht: (2025)

Sparsity-Accelerated Training for Large Language Models
von: Ma, Da, et al.
Veröffentlicht: (2024)

A Preliminary Study on the Promises and Challenges of Native Top-$k$ Sparse Attention
von: Xiu, Di, et al.
Veröffentlicht: (2025)

Lag-Relative Sparse Attention In Long Context Training
von: Liang, Manlai, et al.
Veröffentlicht: (2025)

Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
von: Lin, Chaofan, et al.
Veröffentlicht: (2025)

STS: Efficient Sparse Attention with Speculative Token Sparsity
von: Xu, Ceyu, et al.
Veröffentlicht: (2026)

FASA: Frequency-aware Sparse Attention
von: Wang, Yifei, et al.
Veröffentlicht: (2026)

Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing
von: Tang, Chaoqing, et al.
Veröffentlicht: (2025)

Hybrid Attention-based Encoder-decoder Model for Efficient Language Model Adaptation
von: Ling, Shaoshi, et al.
Veröffentlicht: (2023)

Customizing Speech Recognition Model with Large Language Model Feedback
von: Ling, Shaoshi, et al.
Veröffentlicht: (2025)

Training-free Context-adaptive Attention for Efficient Long Context Modeling
von: You, Zeng, et al.
Veröffentlicht: (2025)

Sparse Growing Transformer: Training-Time Sparse Depth Allocation via Progressive Attention Looping
von: Chen, Yao, et al.
Veröffentlicht: (2026)

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps
von: Zhou, Yanke, et al.
Veröffentlicht: (2026)

Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
von: Pan, Bowen, et al.
Veröffentlicht: (2024)

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models
von: Liang, Xun, et al.
Veröffentlicht: (2025)

MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
von: Li, Wenxuan, et al.
Veröffentlicht: (2025)

Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models
von: Qiu, Junxiang, et al.
Veröffentlicht: (2026)

Training-Free Activation Sparsity in Large Language Models
von: Liu, James, et al.
Veröffentlicht: (2024)

Sparsity Induction for Accurate Post-Training Pruning of Large Language Models
von: Jiang, Minhao, et al.
Veröffentlicht: (2026)

SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
von: Deng, Keqi, et al.
Veröffentlicht: (2025)

Label-Synchronous Neural Transducer for E2E Simultaneous Speech Translation
von: Deng, Keqi, et al.
Veröffentlicht: (2024)

UniEnc-CASSNAT: An Encoder-only Non-autoregressive ASR for Speech SSL Models
von: Fan, Ruchao, et al.
Veröffentlicht: (2024)

Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
von: Fan, Ruchao, et al.
Veröffentlicht: (2024)

Robust Training of Neural Networks at Arbitrary Precision and Sparsity
von: Ye, Chengxi, et al.
Veröffentlicht: (2024)

Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference
von: Yan, Siyuan, et al.
Veröffentlicht: (2025)

Training Superior Sparse Autoencoders for Instruct Models
von: Li, Jiaming, et al.
Veröffentlicht: (2025)

From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
von: Zhou, Yitian, et al.
Veröffentlicht: (2026)

Training-free and Adaptive Sparse Attention for Efficient Long Video Generation
von: Xia, Yifei, et al.
Veröffentlicht: (2025)

SSA: Sparse Sparse Attention by Aligning Full and Sparse Attention Outputs in Feature Space
von: Shen, Zhenyi, et al.
Veröffentlicht: (2025)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

APTQ: Attention-aware Post-Training Mixed-Precision Quantization for Large Language Models
von: Guan, Ziyi, et al.
Veröffentlicht: (2024)

SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

Sparse Rewards Can Self-Train Dialogue Agents
von: Lattimer, Barrett Martin, et al.
Veröffentlicht: (2024)

How Sparse Attention Approximates Exact Attention? Your Attention is Naturally $n^C$-Sparse
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Long Context Pre-Training with Lighthouse Attention
von: Peng, Bowen, et al.
Veröffentlicht: (2026)