Buchumschlag

Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Goel, Raghavv, Gagrani, Mukul, Jeon, Wonseok, Park, Junyoung, Lee, Mingu, Lott, Christopher
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Speculative Decoding for Multimodal Large Language Models
von: Gagrani, Mukul, et al.
Veröffentlicht: (2024)

Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
von: Jeon, Wonseok, et al.
Veröffentlicht: (2024)

Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing
von: Goel, Raghavv, et al.
Veröffentlicht: (2026)

Spiffy: Multiplying Diffusion LLM Acceleration via Lossless Speculative Decoding
von: Agrawal, Sudhanshu, et al.
Veröffentlicht: (2025)

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
von: Goel, Raghavv, et al.
Veröffentlicht: (2025)

CAOTE: KV Cache Selection for LLMs via Attention Output Error-Based Token Eviction
von: Goel, Raghavv, et al.
Veröffentlicht: (2025)

ConFu: Contemplate the Future for Better Speculative Sampling
von: Qin, Zongyue, et al.
Veröffentlicht: (2026)

Fast Forward: Accelerating LLM Prefill with Predictive FFN Sparsity
von: Gautam, Aayush, et al.
Veröffentlicht: (2026)

KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments
von: Park, Junyoung, et al.
Veröffentlicht: (2025)

AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability
von: Agrawal, Sudhanshu, et al.
Veröffentlicht: (2024)

A Comparative analysis of Layer-wise Representational Capacity in AR and Diffusion LLMs
von: Goel, Raghavv, et al.
Veröffentlicht: (2026)

TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
von: Wu, Zhaoxuan, et al.
Veröffentlicht: (2025)

SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
von: Sun, Ryan, et al.
Veröffentlicht: (2024)

Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding
von: Hu, Shijing, et al.
Veröffentlicht: (2025)

Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration
von: Wen, Zhuofan, et al.
Veröffentlicht: (2024)

Training Domain Draft Models for Speculative Decoding: Best Practices and Insights
von: Hong, Fenglu, et al.
Veröffentlicht: (2025)

AdaEAGLE: Optimizing Speculative Decoding via Explicit Modeling of Adaptive Draft Structures
von: Zhang, Situo, et al.
Veröffentlicht: (2024)

PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding
von: An, Zihao, et al.
Veröffentlicht: (2026)

POSS: Position Specialist Generates Better Draft for Speculative Decoding
von: Huang, Langlin, et al.
Veröffentlicht: (2025)

Draft Model Knows When to Stop: Self-Verification Speculative Decoding for Long-Form Generation
von: Zhang, Ziyin, et al.
Veröffentlicht: (2024)

ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
von: Georganas, Evangelos, et al.
Veröffentlicht: (2025)

Balancing Coverage and Draft Latency in Vocabulary Trimming for Faster Speculative Decoding
von: Shoham, Ofir Ben
Veröffentlicht: (2026)

Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
von: Brown, Oscar, et al.
Veröffentlicht: (2024)

LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification
von: Yang, Penghui, et al.
Veröffentlicht: (2025)

GRIFFIN: Effective Token Alignment for Faster Speculative Decoding
von: Hu, Shijing, et al.
Veröffentlicht: (2025)

Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model
von: Lin, Chun-Hsien, et al.
Veröffentlicht: (2024)

Speculative Decoding: Performance or Illusion?
von: Liu, Xiaoxuan, et al.
Veröffentlicht: (2025)

Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
von: Wang, Zilong, et al.
Veröffentlicht: (2024)

MineDraft: A Framework for Batch Parallel Speculative Decoding
von: Tang, Zhenwei, et al.
Veröffentlicht: (2026)

QUOKA: Query-Oriented KV Selection For Efficient LLM Prefill
von: Jones, Dalton, et al.
Veröffentlicht: (2026)

Cross-Attention Speculative Decoding
von: Zhong, Wei, et al.
Veröffentlicht: (2025)

Draft-based Approximate Inference for LLMs
von: Galim, Kevin, et al.
Veröffentlicht: (2025)

Draft-Conditioned Constrained Decoding for Structured Generation in LLMs
von: Reddy, Avinash, et al.
Veröffentlicht: (2026)

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs
von: Xiao, Sibo, et al.
Veröffentlicht: (2025)

Make Every Draft Count: Hidden State based Speculative Decoding
von: Chen, Yuetao, et al.
Veröffentlicht: (2026)

PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models
von: Wang, Xuliang, et al.
Veröffentlicht: (2026)

From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning
von: Li, Yafu, et al.
Veröffentlicht: (2025)

HiSpec: Hierarchical Speculative Decoding for LLMs
von: Kumar, Avinash, et al.
Veröffentlicht: (2025)

SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification
von: Yoon, Kanghoon, et al.
Veröffentlicht: (2025)

SDA: Steering-Driven Distribution Alignment for Open LLMs without Fine-Tuning
von: Xia, Wei, et al.
Veröffentlicht: (2025)