InferCept: Efficient Intercept Support for Augmented Large Language Model Inference

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Abhyankar, Reyna, He, Zijian, Srivatsa, Vikranth, Zhang, Hao, Zhang, Yiying
Formato:	Preprint
Publicado:	2024
Materias:	Machine Learning Computation and Language Distributed, Parallel, and Cluster Computing
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Internet

https://arxiv.org/abs/2402.01869