Enregistré dans:
| Auteurs principaux: | Zhao, Juntao, Lu, Wenhao, Wang, Sheng, Kong, Lingpeng, Wu, Chuan |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | https://arxiv.org/abs/2410.11305 |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
par: Zhang, Yudi, et autres
Publié: (2025)
par: Zhang, Yudi, et autres
Publié: (2025)
Scaling Reasoning without Attention
par: Zhao, Xueliang, et autres
Publié: (2025)
par: Zhao, Xueliang, et autres
Publié: (2025)
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
par: Tiwari, Rishabh, et autres
Publié: (2025)
par: Tiwari, Rishabh, et autres
Publié: (2025)
Speculative Safety-Aware Decoding
par: Wang, Xuekang, et autres
Publié: (2025)
par: Wang, Xuekang, et autres
Publié: (2025)
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
par: Zhao, Juntao, et autres
Publié: (2024)
par: Zhao, Juntao, et autres
Publié: (2024)
PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models
par: Zhao, Xueliang, et autres
Publié: (2025)
par: Zhao, Xueliang, et autres
Publié: (2025)
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
par: Georganas, Evangelos, et autres
Publié: (2025)
par: Georganas, Evangelos, et autres
Publié: (2025)
TreeSynth: Synthesizing Diverse Data from Scratch via Tree-Guided Subspace Partitioning
par: Wang, Sheng, et autres
Publié: (2025)
par: Wang, Sheng, et autres
Publié: (2025)
When Drafts Evolve: Speculative Decoding Meets Online Learning
par: Qian, Yu-Yang, et autres
Publié: (2026)
par: Qian, Yu-Yang, et autres
Publié: (2026)
Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding
par: Shen, Yuhao, et autres
Publié: (2026)
par: Shen, Yuhao, et autres
Publié: (2026)
Mixture of Attentions For Speculative Decoding
par: Zimmer, Matthieu, et autres
Publié: (2024)
par: Zimmer, Matthieu, et autres
Publié: (2024)
Online Speculative Decoding
par: Liu, Xiaoxuan, et autres
Publié: (2023)
par: Liu, Xiaoxuan, et autres
Publié: (2023)
STree: Speculative Tree Decoding for Hybrid State-Space Models
par: Wu, Yangchao, et autres
Publié: (2025)
par: Wu, Yangchao, et autres
Publié: (2025)
Representation Collapsing Problems in Vector Quantization
par: Zhao, Wenhao, et autres
Publié: (2024)
par: Zhao, Wenhao, et autres
Publié: (2024)
A Theoretical Perspective for Speculative Decoding Algorithm
par: Yin, Ming, et autres
Publié: (2024)
par: Yin, Ming, et autres
Publié: (2024)
AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders
par: Hu, Yuezhou, et autres
Publié: (2025)
par: Hu, Yuezhou, et autres
Publié: (2025)
Faster Cascades via Speculative Decoding
par: Narasimhan, Harikrishna, et autres
Publié: (2024)
par: Narasimhan, Harikrishna, et autres
Publié: (2024)
Traversal Verification for Speculative Tree Decoding
par: Weng, Yepeng, et autres
Publié: (2025)
par: Weng, Yepeng, et autres
Publié: (2025)
Spec-VLA: Speculative Decoding for Vision-Language-Action Models with Relaxed Acceptance
par: Wang, Songsheng, et autres
Publié: (2025)
par: Wang, Songsheng, et autres
Publié: (2025)
Implicit Search via Discrete Diffusion: A Study on Chess
par: Ye, Jiacheng, et autres
Publié: (2025)
par: Ye, Jiacheng, et autres
Publié: (2025)
Self-Speculative Biased Decoding for Faster Re-Translation
par: Zeng, Linxiao, et autres
Publié: (2025)
par: Zeng, Linxiao, et autres
Publié: (2025)
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
par: Hou, Yunlong, et autres
Publié: (2025)
par: Hou, Yunlong, et autres
Publié: (2025)
Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
par: Zhao, Yilong, et autres
Publié: (2025)
par: Zhao, Yilong, et autres
Publié: (2025)
Early Quantization Shrinks Codebook: A Simple Fix for Diversity-Preserving Tokenization
par: Zhao, Wenhao, et autres
Publié: (2026)
par: Zhao, Wenhao, et autres
Publié: (2026)
BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning
par: Zhao, Haiteng, et autres
Publié: (2025)
par: Zhao, Haiteng, et autres
Publié: (2025)
TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration
par: Li, Ye, et autres
Publié: (2025)
par: Li, Ye, et autres
Publié: (2025)
On Speculative Decoding for Multimodal Large Language Models
par: Gagrani, Mukul, et autres
Publié: (2024)
par: Gagrani, Mukul, et autres
Publié: (2024)
Benchmarking the Energy Savings with Speculative Decoding Strategies
par: Dutta, Rohit, et autres
Publié: (2026)
par: Dutta, Rohit, et autres
Publié: (2026)
HiSpec: Hierarchical Speculative Decoding for LLMs
par: Kumar, Avinash, et autres
Publié: (2025)
par: Kumar, Avinash, et autres
Publié: (2025)
BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding
par: He, Liang, et autres
Publié: (2026)
par: He, Liang, et autres
Publié: (2026)
HiViS: Hiding Visual Tokens from the Drafter for Speculative Decoding in Vision-Language Models
par: Xie, Zhinan, et autres
Publié: (2025)
par: Xie, Zhinan, et autres
Publié: (2025)
SpecDec++: Boosting Speculative Decoding via Adaptive Candidate Lengths
par: Huang, Kaixuan, et autres
Publié: (2024)
par: Huang, Kaixuan, et autres
Publié: (2024)
Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge
par: Xiao, Bin, et autres
Publié: (2024)
par: Xiao, Bin, et autres
Publié: (2024)
Confidence-Modulated Speculative Decoding for Large Language Models
par: Sen, Jaydip, et autres
Publié: (2025)
par: Sen, Jaydip, et autres
Publié: (2025)
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
par: Jeon, Wonseok, et autres
Publié: (2024)
par: Jeon, Wonseok, et autres
Publié: (2024)
MoESD: Unveil Speculative Decoding's Potential for Accelerating Sparse MoE
par: Huang, Zongle, et autres
Publié: (2025)
par: Huang, Zongle, et autres
Publié: (2025)
FastVLM: Self-Speculative Decoding for Fast Vision-Language Model Inference
par: Bajpai, Divya Jyoti, et autres
Publié: (2025)
par: Bajpai, Divya Jyoti, et autres
Publié: (2025)
REST: Retrieval-Based Speculative Decoding
par: He, Zhenyu, et autres
Publié: (2023)
par: He, Zhenyu, et autres
Publié: (2023)
LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
par: Elhoushi, Mostafa, et autres
Publié: (2024)
par: Elhoushi, Mostafa, et autres
Publié: (2024)
Energy-Efficient Wireless LLM Inference via Uncertainty and Importance-Aware Speculative Decoding
par: Park, Jihoon, et autres
Publié: (2025)
par: Park, Jihoon, et autres
Publié: (2025)
Documents similaires
-
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
par: Zhang, Yudi, et autres
Publié: (2025) -
Scaling Reasoning without Attention
par: Zhao, Xueliang, et autres
Publié: (2025) -
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
par: Tiwari, Rishabh, et autres
Publié: (2025) -
Speculative Safety-Aware Decoding
par: Wang, Xuekang, et autres
Publié: (2025) -
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
par: Zhao, Juntao, et autres
Publié: (2024)