PrefillOnly: An Inference Engine for Prefill-only Workloads in Large Language Model Applications

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Du, Kuntai, Wang, Bowen, Zhang, Chen, Cheng, Yiming, Lan, Qing, Sang, Hejian, Cheng, Yihua, Yao, Jiayi, Liu, Xiaoxuan, Qiao, Yifan, Stoica, Ion, Jiang, Junchen
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!

Ähnliche Einträge