any4: Learned 4-bit Numeric Representation for LLMs

Documenti analoghi

• Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks
  di: Gong, Linyuan, et al.
  Pubblicazione: (2024)
• SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size
  di: Xia, Junhao, et al.
  Pubblicazione: (2025)
• 4bit-Quantization in Vector-Embedding for RAG
  di: Jeong, Taehee
  Pubblicazione: (2025)
• 4-bit Shampoo for Memory-Efficient Network Training
  di: Wang, Sike, et al.
  Pubblicazione: (2024)
• Matmul or No Matmul in the Era of 1-bit LLMs
  di: Malekar, Jinendra, et al.
  Pubblicazione: (2024)