CritiPrefill: A Segment-wise Criticality-based Approach for Prefilling Acceleration in LLMs

Documenti analoghi

• Accelerating Prefilling for Long-Context LLMs via Sparse Pattern Sharing
  di: Peng, Dan, et al.
  Pubblicazione: (2025)
• Block-Attention for Efficient Prefilling
  di: Ma, Dongyang, et al.
  Pubblicazione: (2024)
• Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference
  di: Feng, Yuan, et al.
  Pubblicazione: (2024)
• FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling
  di: Fan, Qihang, et al.
  Pubblicazione: (2026)
• PreFT: Prefill-only finetuning for efficient inference
  di: Lanpouthakoun, Andrew, et al.
  Pubblicazione: (2026)