MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling

Documenti analoghi

• RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers
  di: Liu, Yuxi, et al.
  Pubblicazione: (2026)
• MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
  di: Zhou, Ruijie, et al.
  Pubblicazione: (2026)
• AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs
  di: He, Di, et al.
  Pubblicazione: (2025)
• Training Long-Context LLMs Efficiently via Chunk-wise Optimization
  di: Li, Wenhao, et al.
  Pubblicazione: (2025)
• GIPO: Gaussian Importance Sampling Policy Optimization
  di: Lu, Chengxuan, et al.
  Pubblicazione: (2026)