Image de couverture de livre

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Chen, Pengtao, Zeng, Xianfang, Zhao, Maosen, Ye, Peng, Shen, Mingzhu, Cheng, Wei, Yu, Gang, Chen, Tao
Format:	Preprint
Publié:	2025
Sujets:	Computer Vision and Pattern Recognition Artificial Intelligence Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile
par: Ding, Hangliang, et autres
Publié: (2025)

RegionE: Adaptive Region-Aware Generation for Efficient Image Editing
par: Chen, Pengtao, et autres
Publié: (2025)

$Δ$-DiT: A Training-Free Acceleration Method Tailored for Diffusion Transformers
par: Chen, Pengtao, et autres
Publié: (2024)

TIMERIPPLE: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
par: Miao, Wenxuan, et autres
Publié: (2025)

FAVOR-Bench: A Comprehensive Benchmark for Fine-Grained Video Motion Understanding
par: Tu, Chongjun, et autres
Publié: (2025)

DiTFastAttnV2: Head-wise Attention Compression for Multi-Modality Diffusion Transformers
par: Zhang, Hanling, et autres
Publié: (2025)

SD-DiT: Unleashing the Power of Self-supervised Discrimination in Diffusion Transformer
par: Zhu, Rui, et autres
Publié: (2024)

Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention
par: Lv, Chengtao, et autres
Publié: (2026)

Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
par: Zhao, Maosen, et autres
Publié: (2025)

VORTA: Efficient Video Diffusion via Routing Sparse Attention
par: Sun, Wenhao, et autres
Publié: (2025)

Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity
par: Xi, Haocheng, et autres
Publié: (2025)

HSR-Enhanced Sparse Attention Acceleration
par: Chen, Bo, et autres
Publié: (2024)

Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation
par: Yang, Shuo, et autres
Publié: (2025)

SparseDiT: Token Sparsification for Efficient Diffusion Transformer
par: Chang, Shuning, et autres
Publié: (2024)

Bidirectional Sparse Attention for Faster Video Diffusion Training
par: Zhan, Chenlu, et autres
Publié: (2025)

VSA: Faster Video Diffusion with Trainable Sparse Attention
par: Zhang, Peiyuan, et autres
Publié: (2025)

LazyDiT: Lazy Learning for the Acceleration of Diffusion Transformers
par: Shen, Xuan, et autres
Publié: (2024)

vAttention: Verified Sparse Attention
par: Desai, Aditya, et autres
Publié: (2025)

Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction
par: Lai, Weijiang, et autres
Publié: (2026)

ElasticDiT: Efficient Diffusion Transformers via Elastic Architecture and Sparse Attention for High-Resolution Image Generation on Mobile Devices
par: Du, Kunpeng, et autres
Publié: (2026)

Accelerating Text-to-Video Generation with Calibrated Sparse Attention
par: Yehezkel, Shai, et autres
Publié: (2026)

Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
par: Xu, Boxun, et autres
Publié: (2026)

Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts
par: Chen, Shengzhuang, et autres
Publié: (2024)

PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention
par: Chen, Lida, et autres
Publié: (2025)

Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers
par: Liu, Yuxi, et autres
Publié: (2026)

Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers
par: Zhou, Yifan, et autres
Publié: (2025)

Unleash the Power of Ellipsis: Accuracy-enhanced Sparse Vector Technique with Exponential Noise
par: Liu, Yuhan, et autres
Publié: (2024)

Rectified Sparse Attention
par: Sun, Yutao, et autres
Publié: (2025)

LiteAttention: A Temporal Sparse Attention for Diffusion Transformers
par: Shmilovich, Dor, et autres
Publié: (2025)

VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
par: Liu, Anmin, et autres
Publié: (2026)

HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention
par: Zheng, Xuzhe, et autres
Publié: (2026)

QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification
par: Feng, Weilun, et autres
Publié: (2025)

SparseD: Sparse Attention for Diffusion Language Models
par: Wang, Zeqing, et autres
Publié: (2025)

SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
par: Zhang, Jintao, et autres
Publié: (2025)

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
par: Yuan, Jingyang, et autres
Publié: (2025)

Veda: Scalable Video Diffusion via Distilled Sparse Attention
par: Han, Shihao, et autres
Publié: (2026)

LVSA: Training-Free Sparse Attention for Long Video Diffusion
par: Glorian, Gael, et autres
Publié: (2026)

Why Is Attention Sparse In Particle Transformer?
par: Legge, Timothy, et autres
Publié: (2025)

DiffSparse: Accelerating Diffusion Transformers with Learned Token Sparsity
par: Zhu, Haowei, et autres
Publié: (2026)

VMonarch: Efficient Video Diffusion Transformers with Structured Attention
par: Liang, Cheng, et autres
Publié: (2026)