The CAP Principle for LLM Serving: A Survey of Long-Context Large Language Model Serving

Fuente: arXiv
Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: Zeng, Pai, Ning, Zhenyu, Zhao, Jieru, Cui, Weihao, Xu, Mengwei, Guo, Liwei, Chen, Xusheng, Shan, Yizhou
Format: Preprint
Veröffentlicht: 2024
Schlagworte:
Online-Zugang:
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!