Buchumschlag

Plasticity vs. Rigidity: The Impact of Low-Rank Adapters on Reasoning on a Micro-Budget

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Khan, Zohaib, Tafveez, Omer, Bhatti, Zoha Hayat
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR
von: Khalifa, Muhammad, et al.
Veröffentlicht: (2026)

Towards Symmetric Low-Rank Adapters
von: Panoutsos, Tales, et al.
Veröffentlicht: (2025)

Flora: Low-Rank Adapters Are Secretly Gradient Compressors
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Aggregating Low Rank Adapters in Federated Fine-tuning
von: Trautmann, Evelyn, et al.
Veröffentlicht: (2025)

Ensembles of Low-Rank Expert Adapters
von: Li, Yinghao, et al.
Veröffentlicht: (2025)

Sparse High Rank Adapters
von: Bhardwaj, Kartikeya, et al.
Veröffentlicht: (2024)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

Multiple Choice Learning of Low-Rank Adapters for Language Modeling
von: Letzelter, Victor, et al.
Veröffentlicht: (2025)

Beyond Uniform Query Distribution: Key-Driven Grouped Query Attention
von: Khan, Zohaib, et al.
Veröffentlicht: (2024)

AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
von: Khazem, Salim
Veröffentlicht: (2026)

SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2024)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
von: Muñoz, J. Pablo, et al.
Veröffentlicht: (2025)

zFLoRA: Zero-Latency Fused Low-Rank Adapters
von: Gowda, Dhananjaya, et al.
Veröffentlicht: (2025)

PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning
von: Cosentino, Romain
Veröffentlicht: (2026)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
von: Wan, Zhiyi, et al.
Veröffentlicht: (2025)

LLMs on a Budget? Say HOLA
von: Siddiqui, Zohaib Hasan, et al.
Veröffentlicht: (2025)

PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint
von: Vasani, Bhoomit, et al.
Veröffentlicht: (2025)

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering
von: Ping, Siqi, et al.
Veröffentlicht: (2024)

BoostLoRA: Growing Effective Rank by Boosting Adapters
von: Anantha, Raviteja, et al.
Veröffentlicht: (2026)

PoLAR: Polar-Decomposed Low-Rank Adapter Representation
von: Lion, Kai, et al.
Veröffentlicht: (2025)

BudgetThinker: Empowering Budget-aware LLM Reasoning with Control Tokens
von: Wen, Hao, et al.
Veröffentlicht: (2025)

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
von: Wang, Xinjue, et al.
Veröffentlicht: (2026)

Training Neural Networks from Scratch with Parallel Low-Rank Adapters
von: Huh, Minyoung, et al.
Veröffentlicht: (2024)

Learning Adapter Rank via Symmetry Breaking
von: Doyle, Cooper, et al.
Veröffentlicht: (2025)

Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting
von: Gupta, Divij, et al.
Veröffentlicht: (2024)

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning
von: Jing, Zihao, et al.
Veröffentlicht: (2026)

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs
von: Cho, Yoonjun, et al.
Veröffentlicht: (2026)

When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search
von: Robertson, John T., et al.
Veröffentlicht: (2026)

Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning
von: Cong, Peizhuang, et al.
Veröffentlicht: (2025)

Conformal Thinking: Risk Control for Reasoning on a Compute Budget
von: Wang, Xi, et al.
Veröffentlicht: (2026)

Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters
von: Kratsios, Anastasis, et al.
Veröffentlicht: (2025)

ORBIT: On-policy Exploration-Exploitation for Controllable Multi-Budget Reasoning
von: Liang, Kun, et al.
Veröffentlicht: (2026)

Token-Budget-Aware LLM Reasoning
von: Han, Tingxu, et al.
Veröffentlicht: (2024)

Reasoning on a Budget: A Survey of Adaptive and Controllable Test-Time Compute in LLMs
von: Alomrani, Mohammad Ali, et al.
Veröffentlicht: (2025)

Variational Low-Rank Adaptation Using IVON
von: Cong, Bai, et al.
Veröffentlicht: (2024)

Low-Rank Compression of Language Models via Differentiable Rank Selection
von: Sundrani, Sidhant, et al.
Veröffentlicht: (2025)

Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
von: Ugadiarov, Leonid, et al.
Veröffentlicht: (2026)

Mixture-of-Subspaces in Low-Rank Adaptation
von: Wu, Taiqiang, et al.
Veröffentlicht: (2024)

The Primacy of Magnitude in Low-Rank Adaptation
von: Zhang, Zicheng, et al.
Veröffentlicht: (2025)