Copertina

Speculative Prefill: Turbocharging TTFT with Lightweight and Training-Free Token Importance Estimation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Liu, Jingyu, Chen, Beidi, Zhang, Ce
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT)
di: Bachkaniwala, Rajveer, et al.
Pubblicazione: (2026)

Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding
di: Jin, Tao, et al.
Pubblicazione: (2026)

FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling
di: Fan, Qihang, et al.
Pubblicazione: (2026)

PDTrim: Targeted Pruning for Prefill-Decode Disaggregation in Inference
di: Zhang, Hao, et al.
Pubblicazione: (2025)

Beyond the Speculative Game: A Survey of Speculative Execution in Large Language Models
di: Zhang, Chen, et al.
Pubblicazione: (2024)

GRIFFIN: Effective Token Alignment for Faster Speculative Decoding
di: Hu, Shijing, et al.
Pubblicazione: (2025)

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing
di: Liu, Ziyang
Pubblicazione: (2026)

Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge
di: Xiao, Bin, et al.
Pubblicazione: (2024)

TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
di: Wu, Zhaoxuan, et al.
Pubblicazione: (2025)

TokenButler: Token Importance is Predictable
di: Akhauri, Yash, et al.
Pubblicazione: (2025)

Clover-2: Accurate Inference for Regressive Lightweight Speculative Decoding
di: Xiao, Bin, et al.
Pubblicazione: (2024)

CritiPrefill: A Segment-wise Criticality-based Approach for Prefilling Acceleration in LLMs
di: Lv, Junlin, et al.
Pubblicazione: (2024)

Block-Attention for Efficient Prefilling
di: Ma, Dongyang, et al.
Pubblicazione: (2024)

GSM-Infinite: How Do Your LLMs Behave over Infinitely Increasing Context Length and Reasoning Complexity?
di: Zhou, Yang, et al.
Pubblicazione: (2025)

KTAE: A Model-Free Algorithm to Key-Tokens Advantage Estimation in Mathematical Reasoning
di: Sun, Wei, et al.
Pubblicazione: (2025)

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs
di: Xiao, Sibo, et al.
Pubblicazione: (2025)

Scaling Laws for Speculative Decoding
di: Yan, Siyuan, et al.
Pubblicazione: (2025)

Enhancing Persona Following at Decoding Time via Dynamic Importance Estimation for Role-Playing Agents
di: Liu, Yuxin, et al.
Pubblicazione: (2026)

LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
di: Elhoushi, Mostafa, et al.
Pubblicazione: (2024)

SpecVLM: Enhancing Speculative Decoding of Video LLMs via Verifier-Guided Token Pruning
di: Ji, Yicheng, et al.
Pubblicazione: (2025)

Prompt-prompted Adaptive Structured Pruning for Efficient LLM Generation
di: Dong, Harry, et al.
Pubblicazione: (2024)

HAMburger: Accelerating LLM Inference via Token Smashing
di: Liu, Jingyu, et al.
Pubblicazione: (2025)

Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
di: Fu, Yuchen, et al.
Pubblicazione: (2024)

Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation
di: He, Linda, et al.
Pubblicazione: (2025)

Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit
di: Goddard, Charles, et al.
Pubblicazione: (2025)

ActionStudio: A Lightweight Framework for Data and Training of Large Action Models
di: Zhang, Jianguo, et al.
Pubblicazione: (2025)

Gumiho: A Hybrid Architecture to Prioritize Early Tokens in Speculative Decoding
di: Li, Jinze, et al.
Pubblicazione: (2025)

Token-Driven GammaTune: Adaptive Calibration for Enhanced Speculative Decoding
di: Gautam, Aayush, et al.
Pubblicazione: (2025)

AlphaToken: Decoupling Adaptation and Stability for Path-Aware Response Token Valuation in LLM Post-Training
di: Qing, Liu, et al.
Pubblicazione: (2026)

Cross-Family Speculative Prefill: Training-Free Long-Context Compression with Small Draft Models
di: Upasani, Shubhangi, et al.
Pubblicazione: (2026)

Cascaded Self-Evaluation Augmented Training for Lightweight Multimodal LLMs
di: Lv, Zheqi, et al.
Pubblicazione: (2025)

Speculative Decoding: Performance or Illusion?
di: Liu, Xiaoxuan, et al.
Pubblicazione: (2025)

Efficient Streaming Language Models with Attention Sinks
di: Xiao, Guangxuan, et al.
Pubblicazione: (2023)

Node Importance Estimation Leveraging LLMs for Semantic Augmentation in Knowledge Graphs
di: Lin, Xinyu, et al.
Pubblicazione: (2024)

Do LLMs Encode Functional Importance of Reasoning Tokens?
di: Singh, Janvijay, et al.
Pubblicazione: (2026)

Batch Speculative Decoding Done Right
di: Zhang, Ranran Haoran, et al.
Pubblicazione: (2025)

CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter
di: Weng, Yepeng, et al.
Pubblicazione: (2025)

PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length
di: Zhang, Situo, et al.
Pubblicazione: (2026)

Token-Level Uncertainty-Aware Objective for Language Model Post-Training
di: Liu, Tingkai, et al.
Pubblicazione: (2025)

SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
di: Li, Shenggui, et al.
Pubblicazione: (2026)