SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator

Documenti analoghi

• Self-Adjust Softmax
  di: Zheng, Chuanyang, et al.
  Pubblicazione: (2025)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
  di: Zheng, Chuanyang, et al.
  Pubblicazione: (2024)
• QuickLLaMA: Query-aware Inference Acceleration for Large Language Models
  di: Li, Jingyao, et al.
  Pubblicazione: (2024)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation
  di: Zheng, Chuanyang, et al.
  Pubblicazione: (2024)
• Scaling Law for Language Models Training Considering Batch Size
  di: Shuai, Xian, et al.
  Pubblicazione: (2024)