UltraMemV2: Memory Networks Scaling to 120B Parameters with Superior Long-Context Learning

Documenti analoghi

• Ultra-Sparse Memory Network
  di: Huang, Zihao, et al.
  Pubblicazione: (2024)
• Over-Tokenized Transformer: Vocabulary is Generally Worth Scaling
  di: Huang, Hongzhi, et al.
  Pubblicazione: (2025)
• Frac-Connections: Fractional Extension of Hyper-Connections
  di: Zhu, Defa, et al.
  Pubblicazione: (2025)
• Hyper-Connections
  di: Zhu, Defa, et al.
  Pubblicazione: (2024)
• Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
  di: Yuan, Yike, et al.
  Pubblicazione: (2025)