Buchumschlag

SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Joseph, Geddes, Joshua, Guo, Ziyu, Jiang, Haomiao, Nandwana, Mahesh Kumar
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Regularized Entropy Information Adaptation with Temporal-Awareness Networks for Simultaneous Speech Translation
von: Liu, Joseph, et al.
Veröffentlicht: (2026)

REINA: Regularized Entropy Information-Based Loss for Efficient Simultaneous Speech Translation
von: Hirschkind, Nameer, et al.
Veröffentlicht: (2025)

Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models
von: Nandwana, Mahesh Kumar, et al.
Veröffentlicht: (2025)

Enhancing Multilingual Voice Toxicity Detection with Speech-Text Alignment
von: Liu, Joseph, et al.
Veröffentlicht: (2024)

Token Caching for Diffusion Transformer Acceleration
von: Lou, Jinming, et al.
Veröffentlicht: (2024)

Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching
von: Zuo, Fengrui, et al.
Veröffentlicht: (2026)

Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching
von: Ma, Xinyin, et al.
Veröffentlicht: (2024)

Relational Feature Caching for Accelerating Diffusion Transformers
von: Son, Byunggwan, et al.
Veröffentlicht: (2026)

Accelerating Diffusion Transformers with Token-wise Feature Caching
von: Zou, Chang, et al.
Veröffentlicht: (2024)

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
von: Haghighi, Yasaman, et al.
Veröffentlicht: (2026)

Rethinking Token-wise Feature Caching: Accelerating Diffusion Transformers with Dual Feature Caching
von: Zou, Chang, et al.
Veröffentlicht: (2024)

SpeCa: Accelerating Diffusion Transformers with Speculative Feature Caching
von: Liu, Jiacheng, et al.
Veröffentlicht: (2025)

Diffusion Synthesizer for Efficient Multilingual Speech to Speech Translation
von: Hirschkind, Nameer, et al.
Veröffentlicht: (2024)

RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse
von: Geng, Yingsheng, et al.
Veröffentlicht: (2026)

Accelerating Sparse Transformer Inference on GPU
von: Dai, Wenhao, et al.
Veröffentlicht: (2025)

Accelerating Frequency Domain Diffusion Models with Error-Feedback Event-Driven Caching
von: Liu, Dong, et al.
Veröffentlicht: (2026)

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
von: Song, Dinghong, et al.
Veröffentlicht: (2025)

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
von: Liu, Zhiyuan, et al.
Veröffentlicht: (2025)

ReFrame: Layer Caching for Accelerated Inference in Real-Time Rendering
von: Liu, Lufei, et al.
Veröffentlicht: (2025)

MoE-Infinity: Efficient MoE Inference on Personal Machines with Sparsity-Aware Expert Cache
von: Xue, Leyang, et al.
Veröffentlicht: (2024)

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
von: Yao, Jiayi, et al.
Veröffentlicht: (2026)

Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching
von: Dong, Yanhao, et al.
Veröffentlicht: (2025)

Accelerated Smoothing: A Scalable Approach to Randomized Smoothing
von: Bhardwaj, Devansh, et al.
Veröffentlicht: (2024)

AB-Cache: Training-Free Acceleration of Diffusion Models via Adams-Bashforth Cached Feature Reuse
von: Yu, Zichao, et al.
Veröffentlicht: (2025)

FlexCache: Flexible Approximate Cache System for Video Diffusion
von: Sun, Desen, et al.
Veröffentlicht: (2024)

MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
von: Kim, Daeun, et al.
Veröffentlicht: (2025)

LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference
von: Liu, Yuhan, et al.
Veröffentlicht: (2025)

CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
von: Zhou, Enyu, et al.
Veröffentlicht: (2025)

KV Cache Transform Coding for Compact Storage in LLM Inference
von: Staniszewski, Konrad, et al.
Veröffentlicht: (2025)

FEB-Cache: Frequency-Guided Exposure Bias Reduction for Enhancing Diffusion Transformer Caching
von: Zou, Zhen, et al.
Veröffentlicht: (2025)

Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition
von: Chen, Zhiyuan, et al.
Veröffentlicht: (2025)

CacheClip: Accelerating RAG with Effective KV Cache Reuse
von: Yang, Bin, et al.
Veröffentlicht: (2025)

FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Reverse Transition Kernel: A Flexible Framework to Accelerate Diffusion Inference
von: Huang, Xunpeng, et al.
Veröffentlicht: (2024)

The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference
von: Qasim, Kaleem Ullah, et al.
Veröffentlicht: (2026)

ASTRA: Communication-Efficient Acceleration for Multi-Device Transformer Inference
von: Liu, Xiao, et al.
Veröffentlicht: (2025)

ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
von: Zhao, Youpeng, et al.
Veröffentlicht: (2024)

MeanCache: From Instantaneous to Average Velocity for Accelerating Flow Matching Inference
von: Gao, Huanlin, et al.
Veröffentlicht: (2026)

IceFormer: Accelerated Inference with Long-Sequence Transformers on CPUs
von: Mao, Yuzhen, et al.
Veröffentlicht: (2024)

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
von: Wu, Songhao, et al.
Veröffentlicht: (2025)