u-$μ$P: The Unit-Scaled Maximal Update Parametrization

Documenti analoghi

• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
  di: Neitemeier, Pit, et al.
  Pubblicazione: (2025)
• SparQ Attention: Bandwidth-Efficient LLM Inference
  di: Ribar, Luka, et al.
  Pubblicazione: (2023)
• Optimal Formats for Weight Quantisation
  di: Orr, Douglas, et al.
  Pubblicazione: (2025)
• T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
  di: Deiseroth, Björn, et al.
  Pubblicazione: (2024)
• 1-Bit Wonder: Improving QAT Performance in the Low-Bit Regime through K-Means Quantization
  di: Maskey, Sohir, et al.
  Pubblicazione: (2026)