FlexInfer: Breaking Memory Constraint via Flexible and Efficient Offloading for On-Device LLM Inference

Fuente: arXiv

Guardado en:

Detalles Bibliográficos
Autores principales:	Du, Hongchao, Wu, Shangyu, Kharlamova, Arina, Guan, Nan, Xue, Chun Jason
Formato:	Preprint
Publicado:	2025
Materias:	Operating Systems Artificial Intelligence
Acceso en línea:	Acceder al recurso
Etiquetas:	Agregar Etiqueta Sin Etiquetas, Sea el primero en etiquetar este registro!

Internet

https://arxiv.org/abs/2503.03777