Buchumschlag

Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Luo, Jiayi, Chen, Jiayu, Wang, Jiankun, Wang, Cong, Zhu, Hanxin, Sun, Qingyun, Gao, Chen, Chen, Zhibo, Li, Jianxin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Future Forcing: Future-aware Training-free KV Cache Policy for Autoregressive Video Generation
von: Luo, Jiayi, et al.
Veröffentlicht: (2026)

Post-Training Sparse Attention with Double Sparsity
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

Scaling Attention via Feature Sparsity
von: Xie, Yan, et al.
Veröffentlicht: (2026)

OrthoPhys: Physically Plausible Video Generation with Orthogonal-View Geometry Guidance
von: Wang, Cong, et al.
Veröffentlicht: (2026)

Sparse Recovery for Holographic MIMO Channels: Leveraging the Clustered Sparsity
von: Guo, Yuqing, et al.
Veröffentlicht: (2024)

STS: Efficient Sparse Attention with Speculative Token Sparsity
von: Xu, Ceyu, et al.
Veröffentlicht: (2026)

Rectified SpaAttn: Revisiting Attention Sparsity for Efficient Video Generation
von: Liu, Xuewen, et al.
Veröffentlicht: (2025)

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion
von: Zhu, Hanxin, et al.
Veröffentlicht: (2026)

UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training
von: Deng, Keqi, et al.
Veröffentlicht: (2026)

Attention Condensation via Sparsity Induced Regularized Training
von: Sason, Eli, et al.
Veröffentlicht: (2025)

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
von: Qiu, Zihan, et al.
Veröffentlicht: (2025)

Input-Aware Sparse Attention for Real-Time Co-Speech Video Generation
von: Lu, Beijia, et al.
Veröffentlicht: (2025)

RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning
von: Hu, Junhao, et al.
Veröffentlicht: (2025)

Spark Transformer: Reactivating Sparsity in FFN and Attention
von: You, Chong, et al.
Veröffentlicht: (2025)

Dynamic Sparse Training with Structured Sparsity
von: Lasby, Mike, et al.
Veröffentlicht: (2023)

SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer
von: Fang, Tongcheng, et al.
Veröffentlicht: (2026)

BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers
von: Xiao, Chaodong, et al.
Veröffentlicht: (2026)

BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding
von: Yuan, Jiayi, et al.
Veröffentlicht: (2025)

HashAttention: Semantic Sparsity for Faster Inference
von: Desai, Aditya, et al.
Veröffentlicht: (2024)

FPSAttention: Training-Aware FP8 and Sparsity Co-Design for Fast Video Diffusion
von: Liu, Akide, et al.
Veröffentlicht: (2025)

S-HPLB: Efficient LLM Attention Serving via Sparsity-Aware Head Parallelism Load Balance
von: Liu, Di, et al.
Veröffentlicht: (2026)

Light Field Compression Based on Implicit Neural Representation
von: Wang, Henan, et al.
Veröffentlicht: (2024)

From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation
von: Ren, Yuxin, et al.
Veröffentlicht: (2026)

Compact Attention: Exploiting Structured Spatio-Temporal Sparsity for Fast Video Generation
von: Li, Qirui, et al.
Veröffentlicht: (2025)

Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
von: Lin, Chaofan, et al.
Veröffentlicht: (2025)

Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding
von: Fan, Wang, et al.
Veröffentlicht: (2026)

Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity
von: Xi, Haocheng, et al.
Veröffentlicht: (2025)

Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
von: Arnob, Samin Yeasar, et al.
Veröffentlicht: (2025)

SATA: Sparsity-Aware Scheduling for Selective Token Attention
von: Fan, Zhenkun, et al.
Veröffentlicht: (2026)

Crisp Attention: Regularizing Transformers via Structured Sparsity
von: Gandhi, Sagar, et al.
Veröffentlicht: (2025)

DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training
von: Tan, Xin, et al.
Veröffentlicht: (2025)

Discrepancy Minimization in Input-Sparsity Time
von: Deng, Yichuan, et al.
Veröffentlicht: (2022)

Sparsity-Accelerated Training for Large Language Models
von: Ma, Da, et al.
Veröffentlicht: (2024)

Sparsity Forcing: Reinforcing Token Sparsity of MLLMs
von: Chen, Feng, et al.
Veröffentlicht: (2025)

LVSA: Training-Free Sparse Attention for Long Video Diffusion
von: Glorian, Gael, et al.
Veröffentlicht: (2026)

Embody4D: A Generalist 4D World Model for Embodied AI
von: Tu, Peiyan, et al.
Veröffentlicht: (2026)

Intrinsic and Extrinsic Organized Attention: Softmax Invariance and Network Sparsity
von: Fasina, Oluwadamilola, et al.
Veröffentlicht: (2025)

Multilayer Dataflow: Orchestrate Butterfly Sparsity to Accelerate Attention Computation
von: Wu, Haibin, et al.
Veröffentlicht: (2024)

CASP: Compression of Large Multimodal Models Based on Attention Sparsity
von: Gholami, Mohsen, et al.
Veröffentlicht: (2025)