Buchumschlag

RT-Lynx: Putting the GEMM Sparsity In a Right Way for Diffusion Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cong, Xing, Tang, Hanlin, Liu, Kan, Tao, Lan, Qu, Lin, Xie, Chenhao
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Shiva-DiT: Residual-Based Differentiable Top-$k$ Selection for Efficient Diffusion Transformers
von: Zhang, Jiaji, et al.
Veröffentlicht: (2026)

CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
von: Park, Gunho, et al.
Veröffentlicht: (2025)

LP-GEMM: Integrating Layout Propagation into GEMM Operations
von: Carneiro, César Guedes, et al.
Veröffentlicht: (2026)

Sparsity Forcing: Reinforcing Token Sparsity of MLLMs
von: Chen, Feng, et al.
Veröffentlicht: (2025)

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs
von: Guo, Han, et al.
Veröffentlicht: (2026)

SCORPIO: Serving the Right Requests at the Right Time for Heterogeneous SLOs in LLM Inference
von: Tang, Yinghao, et al.
Veröffentlicht: (2025)

GQSA: Group Quantization and Sparsity for Accelerating Large Language Model Inference
von: Zeng, Chao, et al.
Veröffentlicht: (2024)

Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
von: Liu, Junchen, et al.
Veröffentlicht: (2025)

tuGEMM: Area-Power-Efficient Temporal Unary GEMM Architecture for Low-Precision Edge AI
von: Nair, Harideep, et al.
Veröffentlicht: (2024)

Towards Fully FP8 GEMM LLM Training at Scale
von: Hernández-Cano, Alejandro, et al.
Veröffentlicht: (2025)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
von: Tang, Jiaming, et al.
Veröffentlicht: (2024)

LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving
von: Hu, Huanqi, et al.
Veröffentlicht: (2025)

Model Sparsity Can Simplify Machine Unlearning
von: Jia, Jinghan, et al.
Veröffentlicht: (2023)

Accelerating Sparse Ternary GEMM for Quantized ML on Apple Silicon
von: Lipshitz, Baraq, et al.
Veröffentlicht: (2025)

SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules
von: Li, Suyi, et al.
Veröffentlicht: (2024)

Dimension-Free Convergence of Discrete Diffusion Models: Adjoint Equations Induce the Right Space
von: Kan, Kelvin, et al.
Veröffentlicht: (2026)

Sparsity-Constraint Optimization via Splicing Iteration
von: Zhu, Jin, et al.
Veröffentlicht: (2024)

Empty SPACE: Cross-Attention Sparsity for Concept Erasure in Diffusion Models
von: Novello, Nicola, et al.
Veröffentlicht: (2026)

CaRT: Teaching LLM Agents to Know When They Know Enough
von: Liu, Grace, et al.
Veröffentlicht: (2025)

Sparsity and Out-of-Distribution Generalization
von: Aaronson, Scott, et al.
Veröffentlicht: (2026)

A method of using RSVD in residual calculation of LowBit GEMM
von: Gu, Hongyaoxing
Veröffentlicht: (2024)

RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning
von: Hu, Junhao, et al.
Veröffentlicht: (2025)

Sparsity is Combinatorial Depth: Quantifying MoE Expressivity via Tropical Geometry
von: Su, Ye, et al.
Veröffentlicht: (2026)

Double-Diffusion: ODE-Prior Accelerated Diffusion Models for Spatio-Temporal Graph Forecasting
von: Dong, Hanlin, et al.
Veröffentlicht: (2025)

Spark Transformer: Reactivating Sparsity in FFN and Attention
von: You, Chong, et al.
Veröffentlicht: (2025)

AdvDiffuser: Generating Adversarial Safety-Critical Driving Scenarios via Guided Diffusion
von: Xie, Yuting, et al.
Veröffentlicht: (2024)

Frame-based Equivariant Diffusion Models for 3D Molecular Generation
von: Guo, Mohan, et al.
Veröffentlicht: (2025)

Sparsity-Aware Evolution for Model Merging
von: Zhang, Huan, et al.
Veröffentlicht: (2026)

PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity
von: Kim, Kwanyoung, et al.
Veröffentlicht: (2025)

Learning without Global Backpropagation via Synergistic Information Distillation
von: Ye, Chenhao, et al.
Veröffentlicht: (2025)

CoRT: Code-integrated Reasoning within Thinking
von: Li, Chengpeng, et al.
Veröffentlicht: (2025)

Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
von: Lin, Chaofan, et al.
Veröffentlicht: (2025)

From Ambiguity to Action: A POMDP Perspective on Partial Multi-Label Ambiguity and Its Horizon-One Resolution
von: Pan, Hanlin, et al.
Veröffentlicht: (2026)

Sparsity via Sparse Group $k$-max Regularization
von: Tao, Qinghua, et al.
Veröffentlicht: (2024)

Understanding the Performance Horizon of the Latest ML Workloads with NonGEMM Workloads
von: Karami, Rachid, et al.
Veröffentlicht: (2024)

Learnable Permutation for Structured Sparsity on Transformer Models
von: Li, Zekai, et al.
Veröffentlicht: (2026)

EXION: Exploiting Inter- and Intra-Iteration Output Sparsity for Diffusion Models
von: Heo, Jaehoon, et al.
Veröffentlicht: (2025)

Residual Denoising Diffusion Models
von: Liu, Jiawei, et al.
Veröffentlicht: (2023)

Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
von: Mukherji, Rishav, et al.
Veröffentlicht: (2023)

Barriers to Counterfactual Credit Attribution for Autoregressive Models
von: Cohen, Aloni, et al.
Veröffentlicht: (2026)