Buchumschlag

Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Yuxi, Hu, Yipeng, Zhang, Zekun, Jiang, Kunze, Yuan, Kun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers
von: Liu, Yuxi, et al.
Veröffentlicht: (2026)

LVSA: Training-Free Sparse Attention for Long Video Diffusion
von: Glorian, Gael, et al.
Veröffentlicht: (2026)

Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
von: Xu, Boxun, et al.
Veröffentlicht: (2026)

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
von: Chen, Pengtao, et al.
Veröffentlicht: (2025)

Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity
von: Xi, Haocheng, et al.
Veröffentlicht: (2025)

DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation
von: Hu, Jie, et al.
Veröffentlicht: (2026)

EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
von: Becker, Philipp, et al.
Veröffentlicht: (2025)

BLADE: Block-Sparse Attention Meets Step Distillation for Efficient Video Generation
von: Gu, Youping, et al.
Veröffentlicht: (2025)

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation
von: Li, Xiaolong, et al.
Veröffentlicht: (2025)

Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
von: Wen, Qishuai, et al.
Veröffentlicht: (2026)

Efficient Training of Diffusion Mixture-of-Experts Models: A Practical Recipe
von: Liu, Yahui, et al.
Veröffentlicht: (2025)

MixAR: Mixture Autoregressive Image Generation
von: Hu, Jinyuan, et al.
Veröffentlicht: (2025)

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
von: Zhang, Jintao, et al.
Veröffentlicht: (2026)

CLIP-UP: A Simple and Efficient Mixture-of-Experts CLIP Training Recipe with Sparse Upcycling
von: Wang, Xinze, et al.
Veröffentlicht: (2025)

Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards
von: Hu, Zijing, et al.
Veröffentlicht: (2025)

Diffusion Model Conditioning on Gaussian Mixture Model and Negative Gaussian Mixture Gradient
von: Lu, Weiguo, et al.
Veröffentlicht: (2024)

Guiding a Diffusion Transformer with the Internal Dynamics of Itself
von: Zhou, Xingyu, et al.
Veröffentlicht: (2025)

Diffusion Adversarial Post-Training for One-Step Video Generation
von: Lin, Shanchuan, et al.
Veröffentlicht: (2025)

LetheViT: Selective Machine Unlearning for Vision Transformers via Attention-Guided Contrastive Learning
von: Tong, Yujia, et al.
Veröffentlicht: (2025)

VideoNSA: Native Sparse Attention Scales Video Understanding
von: Song, Enxin, et al.
Veröffentlicht: (2025)

Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications
von: Hu, Zixuan, et al.
Veröffentlicht: (2025)

AnchorFormer: Differentiable Anchor Attention for Efficient Vision Transformer
von: Shan, Jiquan, et al.
Veröffentlicht: (2025)

Radial Attention: $O(n\log n)$ Sparse Attention with Energy Decay for Long Video Generation
von: Li, Xingyang, et al.
Veröffentlicht: (2025)

Pyramidal Flow Matching for Efficient Video Generative Modeling
von: Jin, Yang, et al.
Veröffentlicht: (2024)

DiffMM: Efficient Method for Accurate Noisy and Sparse Trajectory Map Matching via One Step Diffusion
von: Han, Chenxu, et al.
Veröffentlicht: (2026)

MoH: Multi-Head Attention as Mixture-of-Head Attention
von: Jin, Peng, et al.
Veröffentlicht: (2024)

Towards Precise Scaling Laws for Video Diffusion Transformers
von: Yin, Yuanyang, et al.
Veröffentlicht: (2024)

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features
von: Helbling, Alec, et al.
Veröffentlicht: (2025)

Sparse-to-Sparse Training of Diffusion Models
von: Oliveira, Inês Cardoso, et al.
Veröffentlicht: (2025)

Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models
von: Fan, Weichen, et al.
Veröffentlicht: (2025)

ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding
von: Setyawan, Novendra, et al.
Veröffentlicht: (2024)

A Mixture of Exemplars Approach for Efficient Out-of-Distribution Detection with Foundation Models
von: Mannix, Evelyn, et al.
Veröffentlicht: (2023)

Boosting Adversarial Transferability via Ensemble Non-Attention
von: Zou, Yipeng, et al.
Veröffentlicht: (2025)

MonarchRT: Efficient Attention for Real-Time Video Generation
von: Agarwal, Krish, et al.
Veröffentlicht: (2026)

Object-Centric Diffusion for Efficient Video Editing
von: Kahatapitiya, Kumara, et al.
Veröffentlicht: (2024)

SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and $\mathcal{O}(T)$ Complexity
von: Zou, Shihao, et al.
Veröffentlicht: (2025)

Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers
von: Gabetni, Firas, et al.
Veröffentlicht: (2025)

Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Video Diffusion Transformer
von: Cui, Jiahao, et al.
Veröffentlicht: (2024)

Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
von: Yuan, Yike, et al.
Veröffentlicht: (2025)