Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices

Documenti analoghi

• T-MAC: CPU Renaissance via Table Lookup for Low-Bit LLM Deployment on Edge
  di: Wei, Jianyu, et al.
  Pubblicazione: (2024)
• Ghidorah: Fast LLM Inference on Edge with Speculative Decoding and Hetero-Core Parallelism
  di: Wei, Jinhui, et al.
  Pubblicazione: (2025)
• SLICE: SLO-Driven Scheduling for LLM Inference on Edge Computing Devices
  di: Chow, Will
  Pubblicazione: (2025)
• EdgeShard: Efficient LLM Inference via Collaborative Edge Computing
  di: Zhang, Mingjin, et al.
  Pubblicazione: (2024)
• LIME:Accelerating Collaborative Lossless LLM Inference on Memory-Constrained Edge Devices
  di: Sun, Mingyu, et al.
  Pubblicazione: (2025)