Efficient CPU-GPU Collaborative Inference for MoE-based LLMs on Memory-Limited Systems

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Huang, En-Ming, Lin, Li-Shang, Lee, Chun-Yi
Format: Preprint
Publié: 2025
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!