CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution

Ähnliche Einträge

• TriMoE: Augmenting GPU with AMX-Enabled CPU and DIMM-NDP for High-Throughput MoE Inference via Offloading
  von: Pan, Yudong, et al.
  Veröffentlicht: (2026)
• MoE-Gen: High-Throughput MoE Inference on a Single GPU with Module-Based Batching
  von: Xu, Tairan, et al.
  Veröffentlicht: (2025)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
  von: Cao, Shiyi, et al.
  Veröffentlicht: (2024)
• HybriMoE: Hybrid CPU-GPU Scheduling and Cache Management for Efficient MoE Inference
  von: Zhong, Shuzhang, et al.
  Veröffentlicht: (2025)
• Efficient CPU-GPU Collaborative Inference for MoE-based LLMs on Memory-Limited Systems
  von: Huang, En-Ming, et al.
  Veröffentlicht: (2025)