Copertina

LoLA: Low-Rank Linear Attention With Sparse Caching

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	McDermott, Luke, Heath Jr., Robert W., Parhi, Rahul
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Finding Stable Subnetworks at Initialization with Dataset Distillation
di: McDermott, Luke, et al.
Pubblicazione: (2025)

Linear Mode Connectivity in Sparse Neural Networks
di: McDermott, Luke, et al.
Pubblicazione: (2023)

Embedding Compression for Efficient Re-Identification
di: McDermott, Luke
Pubblicazione: (2024)

LoLCATs: On Low-Rank Linearizing of Large Language Models
di: Zhang, Michael, et al.
Pubblicazione: (2024)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
di: He, Zhengfu, et al.
Pubblicazione: (2025)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)

Sparse Attention across Multiple-context KV Cache
di: Cao, Ziyi, et al.
Pubblicazione: (2025)

SEA: Sparse Linear Attention with Estimated Attention Mask
di: Lee, Heejun, et al.
Pubblicazione: (2023)

IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
di: Bai, Yushi, et al.
Pubblicazione: (2026)

Scaling Linear Attention with Sparse State Expansion
di: Pan, Yuqi, et al.
Pubblicazione: (2025)

LoQT: Low-Rank Adapters for Quantized Pretraining
di: Loeschcke, Sebastian, et al.
Pubblicazione: (2024)

LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy
di: Zhang, Rongzhi, et al.
Pubblicazione: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
di: Song, Dinghong, et al.
Pubblicazione: (2025)

Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
di: Piękos, Piotr, et al.
Pubblicazione: (2025)

Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
di: He, Mutian, et al.
Pubblicazione: (2025)

LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models
di: Xi, Haocheng, et al.
Pubblicazione: (2026)

LoRMA: Low-Rank Multiplicative Adaptation for LLMs
di: Bihany, Harsh, et al.
Pubblicazione: (2025)

LoTR: Low Tensor Rank Weight Adaptation
di: Bershatsky, Daniel, et al.
Pubblicazione: (2024)

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs
di: Nawrot, Piotr, et al.
Pubblicazione: (2025)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
di: Chen, Lixian, et al.
Pubblicazione: (2026)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
di: Zhu, Yuxuan, et al.
Pubblicazione: (2025)

Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
di: Gupta, Prakhar, et al.
Pubblicazione: (2026)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
di: Erden, Caner
Pubblicazione: (2025)

Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms
di: Vaidya, Omatharv Bharat, et al.
Pubblicazione: (2026)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
di: Zhou, Kaiye, et al.
Pubblicazione: (2024)

FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
di: Wang, Xinyi, et al.
Pubblicazione: (2025)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2024)

LoRe: Personalizing LLMs via Low-Rank Reward Modeling
di: Bose, Avinandan, et al.
Pubblicazione: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
di: Liu, Ziyun, et al.
Pubblicazione: (2026)

AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
di: Zhang, Ruiyi, et al.
Pubblicazione: (2024)

FLuRKA: Fast and accurate unified Low-Rank & Kernel Attention
di: Gupta, Ahan, et al.
Pubblicazione: (2023)

SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
di: S, Santhosh G, et al.
Pubblicazione: (2025)

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
di: Chang, Yupeng, et al.
Pubblicazione: (2024)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
di: Bałazy, Klaudia, et al.
Pubblicazione: (2024)

AttentionPredictor: Temporal Patterns Matter for KV Cache Compression
di: Yang, Qingyue, et al.
Pubblicazione: (2025)