GPTVQ: The Blessing of Dimensionality for LLM Quantization

Documenti analoghi

• Pruning vs Quantization: Which is Better?
  di: Kuzmin, Andrey, et al.
  Pubblicazione: (2023)
• FP8 Quantization: The Power of the Exponent
  di: Kuzmin, Andrey, et al.
  Pubblicazione: (2022)
• The LLM Surgeon
  di: van der Ouderaa, Tycho F. A., et al.
  Pubblicazione: (2023)
• Leech Lattice Vector Quantization for Efficient LLM Compression
  di: van der Ouderaa, Tycho F. A., et al.
  Pubblicazione: (2026)
• Efficient LLM Inference using Dynamic Input Pruning and Cache-Aware Masking
  di: Federici, Marco, et al.
  Pubblicazione: (2024)