Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Song, Mingcong, Tang, Xinru, Hou, Fengfan, Li, Jing, Wei, Wei, Ma, Yipeng, Xiao, Runqiu, Si, Hongjie, Jiang, Dingcheng, Yin, Shouyi, Hu, Yang, Long, Guoping
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2412.18106