Head-wise Shareable Attention for Large Language Models

Documenti analoghi

• LaCo: Large Language Model Pruning via Layer Collapse
  di: Yang, Yifei, et al.
  Pubblicazione: (2024)
• AutoHall: Automated Factuality Hallucination Dataset Generation for Large Language Models
  di: Cao, Zouying, et al.
  Pubblicazione: (2023)
• PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
  di: Cao, Zouying, et al.
  Pubblicazione: (2025)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing
  di: Yang, Yifei, et al.
  Pubblicazione: (2024)
• LESA: Learnable LLM Layer Scaling-Up
  di: Yang, Yifei, et al.
  Pubblicazione: (2025)