Buchumschlag

RADAR: Accelerating Large Language Model Inference With RL-Based Dynamic Draft Trees

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Junjie, Li, Jinlong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models
von: Gao, Xuanqi, et al.
Veröffentlicht: (2025)

Position-Aware Drafting for Inference Acceleration in LLM-Based Generative List-Wise Recommendation
von: Chen, Jiaju, et al.
Veröffentlicht: (2026)

Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration
von: Wen, Zhuofan, et al.
Veröffentlicht: (2024)

DRAFT-RL: Multi-Agent Chain-of-Draft Reasoning for Reinforcement Learning-Enhanced LLMs
von: Li, Yuanhao, et al.
Veröffentlicht: (2025)

Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
von: Gao, Xiangxiang, et al.
Veröffentlicht: (2024)

DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
von: Zhang, Hanzhi, et al.
Veröffentlicht: (2025)

Understand and Accelerate Memory Processing Pipeline for Large Language Model Inference
von: He, Zifan, et al.
Veröffentlicht: (2026)

Adaptive Draft-Verification for Efficient Large Language Model Decoding
von: Liu, Xukun, et al.
Veröffentlicht: (2024)

Progressive Refinement Regulation for Accelerating Diffusion Language Model Decoding
von: Wan, Lipeng, et al.
Veröffentlicht: (2026)

Draft-based Approximate Inference for LLMs
von: Galim, Kevin, et al.
Veröffentlicht: (2025)

DREAM-R: Multimodal Speculative Reasoning with RL-Based Refined Drafting, Precise Verification, and Fully Parallel Execution
von: Hu, Yunhai, et al.
Veröffentlicht: (2026)

Measuring the Faithfulness of Thinking Drafts in Large Reasoning Models
von: Xiong, Zidi, et al.
Veröffentlicht: (2025)

Self-Selected Attention Span for Accelerating Large Language Model Inference
von: Jin, Tian, et al.
Veröffentlicht: (2024)

PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models
von: Wang, Xuliang, et al.
Veröffentlicht: (2026)

Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model
von: Lin, Chun-Hsien, et al.
Veröffentlicht: (2024)

Causal Inference with Large Language Model: A Survey
von: Ma, Jing
Veröffentlicht: (2024)

Reinforced MLLM: A Survey on RL-Based Reasoning in Multimodal Large Language Models
von: Zhou, Guanghao, et al.
Veröffentlicht: (2025)

Understanding the Potential of FPGA-Based Spatial Acceleration for Large Language Model Inference
von: Chen, Hongzheng, et al.
Veröffentlicht: (2023)

Comet: Accelerating Private Inference for Large Language Model by Predicting Activation Sparsity
von: Yan, Guang, et al.
Veröffentlicht: (2025)

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference
von: Chen, Sihan, et al.
Veröffentlicht: (2025)

Context-Aware Assistant Selection for Improved Inference Acceleration with Large Language Models
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models
von: Wu, Shutong, et al.
Veröffentlicht: (2025)

SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting
von: Xu, Jiaming, et al.
Veröffentlicht: (2025)

RADAR: Learning to Route with Asymmetry-aware DistAnce Representations
von: Yi, Hang, et al.
Veröffentlicht: (2026)

Hybrid Systolic Array Accelerator with Optimized Dataflow for Edge Large Language Model Inference
von: Chen, Chun-Ting, et al.
Veröffentlicht: (2025)

Dynamic Compressing Prompts for Efficient Inference of Large Language Models
von: Hu, Jinwu, et al.
Veröffentlicht: (2025)

Solver-Informed RL: Grounding Large Language Models for Authentic Optimization Modeling
von: Chen, Yitian, et al.
Veröffentlicht: (2025)

SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
von: Sun, Ryan, et al.
Veröffentlicht: (2024)

Unveiling the Reasoning Process of Large Language Models
von: Zhang, Junjie, et al.
Veröffentlicht: (2026)

Inference Performance Optimization for Large Language Models on CPUs
von: He, Pujiang, et al.
Veröffentlicht: (2024)

Lookahead: An Inference Acceleration Framework for Large Language Model with Lossless Generation Accuracy
von: Zhao, Yao, et al.
Veröffentlicht: (2023)

Flash Communication: Reducing Tensor Parallelization Bottleneck for Fast Large Language Model Inference
von: Li, Qingyuan, et al.
Veröffentlicht: (2024)

ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
von: Zhao, Youpeng, et al.
Veröffentlicht: (2024)

SuperRL: Reinforcement Learning with Supervision to Boost Language Model Reasoning
von: Liu, Yihao, et al.
Veröffentlicht: (2025)

Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL
von: He, Haoyang, et al.
Veröffentlicht: (2025)

D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting
von: Wu, Tianyu, et al.
Veröffentlicht: (2026)

TIDE: Temporal Incremental Draft Engine for Self-Improving LLM Inference
von: Park, Jiyoung, et al.
Veröffentlicht: (2026)

Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens
von: Zeng, Ziqian, et al.
Veröffentlicht: (2024)

Dynamics-Predictive Sampling for Active RL Finetuning of Large Reasoning Models
von: Mao, Yixiu, et al.
Veröffentlicht: (2026)

Large Language Models Reasoning Abilities Under Non-Ideal Conditions After RL-Fine-Tuning
von: Tian, Chang, et al.
Veröffentlicht: (2025)