Buchumschlag

FlashDecoding++: Faster Large Language Model Inference on GPUs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hong, Ke, Dai, Guohao, Xu, Jiaming, Mao, Qiuli, Li, Xiuhong, Liu, Jun, Chen, Kangdi, Dong, Yuhan, Wang, Yu
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Survey on Efficient Inference for Large Language Models
von: Zhou, Zixuan, et al.
Veröffentlicht: (2024)

semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage
von: Hong, Ke, et al.
Veröffentlicht: (2025)

Efficient and Adaptable Overlapping for Computation and Communication via Signaling and Reordering
von: Hong, Ke, et al.
Veröffentlicht: (2025)

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Flash Interpretability: Decoding Specialised Feature Neurons in Large Language Models with the LM-Head
von: Davies, Harry J
Veröffentlicht: (2025)

Fast Large Language Model Collaborative Decoding via Speculation
von: Fu, Jiale, et al.
Veröffentlicht: (2025)

Plato: Plan to Efficiently Decode for Large Language Model Inference
von: Jin, Shuowei, et al.
Veröffentlicht: (2024)

Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
von: Gao, Xiangxiang, et al.
Veröffentlicht: (2024)

Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding
von: Zhang, Jun, et al.
Veröffentlicht: (2023)

Pruning Large Language Models with Semi-Structural Adaptive Sparse Training
von: Huang, Weiyu, et al.
Veröffentlicht: (2024)

DFlash: Block Diffusion for Flash Speculative Decoding
von: Chen, Jian, et al.
Veröffentlicht: (2026)

DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference
von: Yao, Jinwei, et al.
Veröffentlicht: (2024)

Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
von: Xia, Heming, et al.
Veröffentlicht: (2024)

Efficient Inference for Large Vision-Language Models: Bottlenecks, Techniques, and Prospects
von: Zhang, Jun, et al.
Veröffentlicht: (2026)

Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
von: Brown, Oscar, et al.
Veröffentlicht: (2024)

FlashBack:Efficient Retrieval-Augmented Language Modeling for Long Context Inference
von: Liu, Runheng, et al.
Veröffentlicht: (2024)

Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models
von: Sun, Chendong, et al.
Veröffentlicht: (2025)

Evaluating Quantized Large Language Models
von: Li, Shiyao, et al.
Veröffentlicht: (2024)

Faster MoE LLM Inference for Extremely Large Models
von: Yang, Haoqi, et al.
Veröffentlicht: (2025)

AdaSD: Adaptive Speculative Decoding for Efficient Language Model Inference
von: Lu, Kuan-Wei, et al.
Veröffentlicht: (2025)

Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models
von: Das, Souvik, et al.
Veröffentlicht: (2024)

SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation
von: Pan, Jiayi, et al.
Veröffentlicht: (2025)

Efficient Beam Search for Large Language Models Using Trie-Based Decoding
von: Chan, Brian J, et al.
Veröffentlicht: (2025)

TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

Speculative Decoding via Early-exiting for Faster LLM Inference with Thompson Sampling Control Mechanism
von: Liu, Jiahao, et al.
Veröffentlicht: (2024)

EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
von: Li, Yuhui, et al.
Veröffentlicht: (2024)

Improving Factuality in Large Language Models via Decoding-Time Hallucinatory and Truthful Comparators
von: Yang, Dingkang, et al.
Veröffentlicht: (2024)

From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models
von: Welleck, Sean, et al.
Veröffentlicht: (2024)

SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting
von: Xu, Jiaming, et al.
Veröffentlicht: (2025)

ICPC: In-context Prompt Compression with Faster Inference
von: Yu, Ziyang, et al.
Veröffentlicht: (2025)

DSCD: Large Language Model Detoxification with Self-Constrained Decoding
von: Dong, Ming, et al.
Veröffentlicht: (2025)

Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens
von: Zeng, Ziqian, et al.
Veröffentlicht: (2024)

Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs
von: Li, Luchang, et al.
Veröffentlicht: (2024)

Pruning Multilingual Large Language Models for Multilingual Inference
von: Kim, Hwichan, et al.
Veröffentlicht: (2024)

FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion
von: Hu, Zhanqiu, et al.
Veröffentlicht: (2025)

Self Speculative Decoding for Diffusion Large Language Models
von: Gao, Yifeng, et al.
Veröffentlicht: (2025)

SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models
von: Duanmu, Haojie, et al.
Veröffentlicht: (2024)

Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding
von: Zhao, Weilin, et al.
Veröffentlicht: (2024)

Cache-to-Cache: Direct Semantic Communication Between Large Language Models
von: Fu, Tianyu, et al.
Veröffentlicht: (2025)

Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
von: Kiruluta, Andrew
Veröffentlicht: (2026)