Image de couverture de livre

SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Fang, Tongcheng, Zhang, Hanling, Xie, Ruiqi, Han, Zhuo, Tao, Xin, Zhao, Tianchen, Wan, Pengfei, Ding, Wenbo, Ouyang, Wanli, Ning, Xuefei, Wang, Yu
Format:	Preprint
Publié:	2026
Sujets:	Computer Vision and Pattern Recognition
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

DiTFastAttn: Attention Compression for Diffusion Transformer Models
par: Yuan, Zhihang, et autres
Publié: (2024)

VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models
par: Zhang, Hanling, et autres
Publié: (2025)

ViDiT-Q: Efficient and Accurate Quantization of Diffusion Transformers for Image and Video Generation
par: Zhao, Tianchen, et autres
Publié: (2024)

LiteVAR: Compressing Visual Autoregressive Modelling with Efficient Attention and Quantization
par: Xie, Rui, et autres
Publié: (2024)

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
par: Zhang, Jintao, et autres
Publié: (2025)

MixDQ: Memory-Efficient Few-Step Text-to-Image Diffusion Models with Metric-Decoupled Mixed Precision Quantization
par: Zhao, Tianchen, et autres
Publié: (2024)

VMoBA: Mixture-of-Block Attention for Video Diffusion Models
par: Wu, Jianzong, et autres
Publié: (2025)

DLFR-VAE: Dynamic Latent Frame Rate VAE for Video Generation
par: Yuan, Zhihang, et autres
Publié: (2025)

Agent Attention: On the Integration of Softmax and Linear Attention
par: Han, Dongchen, et autres
Publié: (2023)

Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
par: Ghafoorian, Mohsen, et autres
Publié: (2025)

VMonarch: Efficient Video Diffusion Transformers with Structured Attention
par: Liang, Cheng, et autres
Publié: (2026)

Analysis of Attention in Video Diffusion Transformers
par: Wen, Yuxin, et autres
Publié: (2025)

Spark Transformer: Reactivating Sparsity in FFN and Attention
par: You, Chong, et autres
Publié: (2025)

Scaling Attention via Feature Sparsity
par: Xie, Yan, et autres
Publié: (2026)

Crisp Attention: Regularizing Transformers via Structured Sparsity
par: Gandhi, Sagar, et autres
Publié: (2025)

DiTFastAttnV2: Head-wise Attention Compression for Multi-Modality Diffusion Transformers
par: Zhang, Hanling, et autres
Publié: (2025)

db-SP: Accelerating Sparse Attention for Visual Generative Models with Dual-Balanced Sequence Parallelism
par: Chen, Siqi, et autres
Publié: (2025)

EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
par: Becker, Philipp, et autres
Publié: (2025)

Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile
par: Ding, Hangliang, et autres
Publié: (2025)

LRQ-DiT: Log-Rotation Post-Training Quantization of Diffusion Transformers for Image and Video Generation
par: Yang, Lianwei, et autres
Publié: (2025)

RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning
par: Hu, Junhao, et autres
Publié: (2025)

STS: Efficient Sparse Attention with Speculative Token Sparsity
par: Xu, Ceyu, et autres
Publié: (2026)

AttentionBender: Manipulating Cross-Attention in Video Diffusion Transformers as a Creative Probe
par: Cole, Adam, et autres
Publié: (2026)

VORTA: Efficient Video Diffusion via Routing Sparse Attention
par: Sun, Wenhao, et autres
Publié: (2025)

Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering
par: Luo, Jiayi, et autres
Publié: (2026)

SATA: Sparsity-Aware Scheduling for Selective Token Attention
par: Fan, Zhenkun, et autres
Publié: (2026)

Rectified SpaAttn: Revisiting Attention Sparsity for Efficient Video Generation
par: Liu, Xuewen, et autres
Publié: (2025)

Linear Attention is Enough in Spatial-Temporal Forecasting
par: Ning, Xinyu
Publié: (2024)

Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs
par: Tu, Chongjun, et autres
Publié: (2025)

Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers
par: Tang, Zecheng, et autres
Publié: (2026)

Empty SPACE: Cross-Attention Sparsity for Concept Erasure in Diffusion Models
par: Novello, Nicola, et autres
Publié: (2026)

Heat Diffusion Models -- Interpixel Attention Mechanism
par: Zhang, Pengfei, et autres
Publié: (2025)

ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
par: Ghafoorian, Mohsen, et autres
Publié: (2026)

DraftAttention: Fast Video Diffusion via Low-Resolution Attention Guidance
par: Shen, Xuan, et autres
Publié: (2025)

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
par: Chen, Pengtao, et autres
Publié: (2025)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
par: Hu, Wenjie, et autres
Publié: (2025)

VideoPanda: Video Panoramic Diffusion with Multi-view Attention
par: Xie, Kevin, et autres
Publié: (2025)

Cottention: Linear Transformers With Cosine Attention
par: Mongaras, Gabriel, et autres
Publié: (2024)

The Linear Attention Resurrection in Vision Transformer
par: Zheng, Chuanyang
Publié: (2025)

On The Application of Linear Attention in Multimodal Transformers
par: Gerami, Armin, et autres
Publié: (2026)