:: Library Catalog

Buchumschlag

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Long, Lingkun, Yang, Rubing, Huang, Yushi, Hui, Desheng, Zhou, Ao, Yang, Jianlei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	https://arxiv.org/abs/2508.06447
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing
von: Long, Lingkun, et al.
Veröffentlicht: (2026)

LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
von: Fu, Qichen, et al.
Veröffentlicht: (2024)

HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference
von: Duan, Cenlin, et al.
Veröffentlicht: (2025)

RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
von: Liu, Di, et al.
Veröffentlicht: (2024)

DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
von: Guo, Jinyu, et al.
Veröffentlicht: (2026)

APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
von: Huang, Yuxiang, et al.
Veröffentlicht: (2025)

InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference
von: Pan, Xiurui, et al.
Veröffentlicht: (2024)

HAMburger: Accelerating LLM Inference via Token Smashing
von: Liu, Jingyu, et al.
Veröffentlicht: (2025)

Squeezed Attention: Accelerating Long Context Length LLM Inference
von: Hooper, Coleman, et al.
Veröffentlicht: (2024)

ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
von: Zhong, Shuzhang, et al.
Veröffentlicht: (2024)

TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection
von: Wu, Wei, et al.
Veröffentlicht: (2024)

LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model
von: Shao, Wei, et al.
Veröffentlicht: (2025)

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference
von: Dehghanighobadi, Zahra, et al.
Veröffentlicht: (2026)

OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference
von: Gu, Yuzhe, et al.
Veröffentlicht: (2025)

Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning
von: Huang, Xijie, et al.
Veröffentlicht: (2023)

DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
von: Zhang, Hanzhi, et al.
Veröffentlicht: (2025)

LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding
von: Lin, Gang, et al.
Veröffentlicht: (2026)

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
von: Ding, Yiran, et al.
Veröffentlicht: (2024)

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
von: Wu, Zimeng, et al.
Veröffentlicht: (2026)

PipeInfer: Accelerating LLM Inference using Asynchronous Pipelined Speculation
von: Butler, Branden, et al.
Veröffentlicht: (2024)

Exploiting Sparsity for Long Context Inference: Million Token Contexts on Commodity GPUs
von: Synk, Ryan, et al.
Veröffentlicht: (2025)

AdaSkip: Adaptive Sublayer Skipping for Accelerating Long-Context LLM Inference
von: He, Zhuomin, et al.
Veröffentlicht: (2025)

Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing
von: Le, Qi, et al.
Veröffentlicht: (2025)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
von: Behnam, Payman, et al.
Veröffentlicht: (2025)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
von: Jo, Dongwon, et al.
Veröffentlicht: (2026)

Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
von: Taniguchi, Rei, et al.
Veröffentlicht: (2026)

TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference
von: Dzikanyanga, Gradwell, et al.
Veröffentlicht: (2026)

SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
von: Zhu, Qianchao, et al.
Veröffentlicht: (2024)

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
von: Liu, Siran, et al.
Veröffentlicht: (2026)

Efficient Long-Context LLM Inference via KV Cache Clustering
von: Hu, Jie, et al.
Veröffentlicht: (2025)

PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference
von: Yang, Dongjie, et al.
Veröffentlicht: (2024)

DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads
von: Xiao, Guangxuan, et al.
Veröffentlicht: (2024)

UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic Sparsification
von: Fan, Qihang, et al.
Veröffentlicht: (2026)

DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs
von: Choi, Nayoung, et al.
Veröffentlicht: (2026)

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference
von: Liao, Ruqi, et al.
Veröffentlicht: (2024)

MEDA: Dynamic KV Cache Allocation for Efficient Multimodal Long-Context Inference
von: Wan, Zhongwei, et al.
Veröffentlicht: (2025)

VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization
von: Yao, Dingyu, et al.
Veröffentlicht: (2025)

SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens
von: Liu, Chengbo, et al.
Veröffentlicht: (2024)

Mask Tokens as Prophet: Fine-Grained Cache Eviction for Efficient dLLM Inference
von: Huang, Jianuo, et al.
Veröffentlicht: (2025)

SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs
von: Vo, James
Veröffentlicht: (2024)