Buchumschlag

Elastic-dLLM: Position Preserving Context Compression and Augmentation of Diffusion LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Junyi, Zhao, Tianchen, Zhang, Shaoqiu, Zhang, Linfeng, Dai, Guohao, Wang, Yu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
von: Liu, Zhiyuan, et al.
Veröffentlicht: (2025)

dLLM: Simple Diffusion Language Modeling
von: Zhou, Zhanhui, et al.
Veröffentlicht: (2026)

Quant-dLLM: Post-Training Extreme Low-Bit Quantization for Diffusion Large Language Models
von: Zhang, Tianao, et al.
Veröffentlicht: (2025)

Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding
von: Xiao, Zhongyu, et al.
Veröffentlicht: (2026)

AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size
von: Lu, Guanxi, et al.
Veröffentlicht: (2025)

LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection
von: Zhang, Haohui, et al.
Veröffentlicht: (2026)

ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping
von: Zhu, Zijian, et al.
Veröffentlicht: (2026)

DynSplit-KV: Dynamic Semantic Splitting for KVCache Compression in Efficient Long-Context LLM Inference
von: Ye, Jiancai, et al.
Veröffentlicht: (2026)

$R^2$-dLLM: Accelerating Diffusion Large Language Models via Spatio-Temporal Redundancy Reduction
von: Du, Zhenbang, et al.
Veröffentlicht: (2026)

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training
von: Wang, Yuanqing, et al.
Veröffentlicht: (2026)

TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs
von: Zhang, Yuxiang, et al.
Veröffentlicht: (2025)

DiTFastAttn: Attention Compression for Diffusion Transformer Models
von: Yuan, Zhihang, et al.
Veröffentlicht: (2024)

BitSnap: Checkpoint Sparsification and Quantization in LLM Training
von: Peng, Yanxin, et al.
Veröffentlicht: (2025)

d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation
von: Qian, Yu-Yang, et al.
Veröffentlicht: (2026)

When Less is More: The LLM Scaling Paradox in Context Compression
von: Guo, Ruishan, et al.
Veröffentlicht: (2026)

Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction
von: Song, Yuerong, et al.
Veröffentlicht: (2025)

Fast-dLLM v2: Efficient Block-Diffusion LLM
von: Wu, Chengyue, et al.
Veröffentlicht: (2025)

Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing
von: Long, Lingkun, et al.
Veröffentlicht: (2026)

TsLLM: Augmenting LLMs for General Time Series Understanding and Prediction
von: Parker, Felix, et al.
Veröffentlicht: (2025)

D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
von: Yan, Xianglong, et al.
Veröffentlicht: (2026)

Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization
von: Yang, Yonghan, et al.
Veröffentlicht: (2026)

Safer by Diffusion, Broken by Context: Diffusion LLM's Safety Blessing and Its Failure Mode
von: He, Zeyuan, et al.
Veröffentlicht: (2026)

Mask Tokens as Prophet: Fine-Grained Cache Eviction for Efficient dLLM Inference
von: Huang, Jianuo, et al.
Veröffentlicht: (2025)

Compress the Context, Keep the Commitments: A Formal Framework for Verifiable LLM Context Compression
von: Trukhina, Natalia, et al.
Veröffentlicht: (2026)

CG-RAG: Research Question Answering by Citation Graph Retrieval-Augmented LLMs
von: Hu, Yuntong, et al.
Veröffentlicht: (2025)

CSKV: Training-Efficient Channel Shrinking for KV Cache in Long-Context Scenarios
von: Wang, Luning, et al.
Veröffentlicht: (2024)

Exploring Context Window of Large Language Models via Decomposed Positional Vectors
von: Dong, Zican, et al.
Veröffentlicht: (2024)

Adapting LLMs for Efficient Context Processing through Soft Prompt Compression
von: Wang, Cangqing, et al.
Veröffentlicht: (2024)

SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation
von: Pan, Jiayi, et al.
Veröffentlicht: (2025)

ProjQ: Project-and-Quantize for Adapter-Aware LLM Compression
von: Yu, Wneya, et al.
Veröffentlicht: (2026)

Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs
von: Liu, Enshu, et al.
Veröffentlicht: (2024)

RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
von: Yu, Yue, et al.
Veröffentlicht: (2024)

Can Compressed LLMs Truly Act? An Empirical Evaluation of Agentic Capabilities in LLM Compression
von: Dong, Peijie, et al.
Veröffentlicht: (2025)

LEKA:LLM-Enhanced Knowledge Augmentation
von: Zhang, Xinhao, et al.
Veröffentlicht: (2025)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
von: Behnam, Payman, et al.
Veröffentlicht: (2025)

InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
von: Xiao, Chaojun, et al.
Veröffentlicht: (2024)

PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training
von: Zhu, Dawei, et al.
Veröffentlicht: (2023)

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding
von: Li, Sihang, et al.
Veröffentlicht: (2024)

Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression
von: Zhang, Xi, et al.
Veröffentlicht: (2025)

TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving
von: Wu, Bingyang, et al.
Veröffentlicht: (2025)