PARD: Enhancing Goodput for Inference Pipeline via Proactive Request Dropping

Fuente: arXiv
Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: Zhao, Zhixin, Hu, Yitao, Chen, Simin, Ji, Mingfang, Yang, Wei, Zhang, Yuhao, Zhao, Laiping, Li, Wenxin, Liu, Xiulong, Qu, Wenyu, Wang, Hao
Format: Preprint
Veröffentlicht: 2026
Schlagworte:
Online-Zugang:
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!