Copertina

HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Liu, Siran, Ye, Yang, Zhu, Qianchao, Cao, Zane, He, Yongchao
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

A Unified Sparse Attention via Multi-Granularity Compression
di: Liu, Siran, et al.
Pubblicazione: (2025)

ConfSpec: Efficient Step-Level Speculative Reasoning via Confidence-Gated Verification
di: Liu, Siran, et al.
Pubblicazione: (2026)

ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
di: Xiao, Zilin, et al.
Pubblicazione: (2024)

DistillSpec: Improving Speculative Decoding via Knowledge Distillation
di: Zhou, Yongchao, et al.
Pubblicazione: (2023)

SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting
di: Shi, Weijie, et al.
Pubblicazione: (2026)

LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation
di: Liu, Tianyu, et al.
Pubblicazione: (2025)

LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification
di: Yang, Penghui, et al.
Pubblicazione: (2025)

HiSpec: Hierarchical Speculative Decoding for LLMs
di: Kumar, Avinash, et al.
Pubblicazione: (2025)

NanoSpec: Accelerating Speculative Decoding using Minimalist In-Context Vocabularies
di: Chen, Zhiyang, et al.
Pubblicazione: (2026)

SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
di: Li, Shenggui, et al.
Pubblicazione: (2026)

DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
di: Li, Guanghao, et al.
Pubblicazione: (2025)

SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
di: Sun, Ryan, et al.
Pubblicazione: (2024)

SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding
di: Sandler, Jameson, et al.
Pubblicazione: (2025)

SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding
di: Lin, Yijun, et al.
Pubblicazione: (2026)

SpecExec: Massively Parallel Speculative Decoding for Interactive LLM Inference on Consumer Devices
di: Svirschevski, Ruslan, et al.
Pubblicazione: (2024)

ViSpec: Accelerating Vision-Language Models with Vision-Aware Speculative Decoding
di: Kang, Jialiang, et al.
Pubblicazione: (2025)

SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
di: Plaksin, Anton, et al.
Pubblicazione: (2026)

ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
di: Georganas, Evangelos, et al.
Pubblicazione: (2025)

SpecDec++: Boosting Speculative Decoding via Adaptive Candidate Lengths
di: Huang, Kaixuan, et al.
Pubblicazione: (2024)

Spec-LLaVA: Accelerating Vision-Language Models with Dynamic Tree-Based Speculative Decoding
di: Huo, Mingxiao, et al.
Pubblicazione: (2025)

AdaSpec: Adaptive Speculative Decoding for Fast, SLO-Aware Large Language Model Serving
di: Huang, Kaiyu, et al.
Pubblicazione: (2025)

ToolSpec: Accelerating Tool Calling via Schema-Aware and Retrieval-Augmented Speculative Decoding
di: Xia, Heming, et al.
Pubblicazione: (2026)

SpecTr: Fast Speculative Decoding via Optimal Transport
di: Sun, Ziteng, et al.
Pubblicazione: (2023)

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation
di: Zhang, Shuyu, et al.
Pubblicazione: (2026)

RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding
di: Zhang, Zihong, et al.
Pubblicazione: (2026)

SpecKV: Adaptive Speculative Decoding with Compression-Aware Gamma Selection
di: Shukla, Shikhar
Pubblicazione: (2026)

Efficient Speculative Decoding for Llama at Scale: Challenges and Solutions
di: Tang, Bangsheng, et al.
Pubblicazione: (2025)

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
di: Goel, Raghavv, et al.
Pubblicazione: (2025)

SpecExit: Accelerating Large Reasoning Model via Speculative Exit
di: Yang, Rubing, et al.
Pubblicazione: (2025)

SpecAttn: Speculating Sparse Attention
di: Shah, Harsh
Pubblicazione: (2025)

Tutorial Proposal: Speculative Decoding for Efficient LLM Inference
di: Xia, Heming, et al.
Pubblicazione: (2025)

SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
di: Cha, Jungyoub, et al.
Pubblicazione: (2025)

SpecVLM: Enhancing Speculative Decoding of Video LLMs via Verifier-Guided Token Pruning
di: Ji, Yicheng, et al.
Pubblicazione: (2025)

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting
di: Lv, Kai, et al.
Pubblicazione: (2025)

SPEED: Speculative Pipelined Execution for Efficient Decoding
di: Hooper, Coleman, et al.
Pubblicazione: (2023)

Speculative Decoding with a Speculative Vocabulary
di: Williams, Miles, et al.
Pubblicazione: (2026)

Dovetail: A CPU/GPU Heterogeneous Speculative Decoding for LLM inference
di: Zhang, Libo, et al.
Pubblicazione: (2024)

Multi-Candidate Speculative Decoding
di: Yang, Sen, et al.
Pubblicazione: (2024)

Automatic Task Detection and Heterogeneous LLM Speculative Decoding
di: Ge, Danying, et al.
Pubblicazione: (2025)

SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents
di: Saberi, Mehrdad, et al.
Pubblicazione: (2026)