Buchumschlag

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Jerry Yao-Chieh, Su, Maojiang, Kuo, En-Jui, Song, Zhao, Liu, Han
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computational Complexity
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

In-Context Deep Learning via Transformer Models
von: Wu, Weimin, et al.
Veröffentlicht: (2024)

Oracle Separation between Noisy Quantum Polynomial Time and the Polynomial Hierarchy
von: Chia, Nai-Hui, et al.
Veröffentlicht: (2024)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

Rethinking the Rank Threshold for LoRA Fine-Tuning
von: Park, Juneyoung
Veröffentlicht: (2026)

QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models
von: Liang, Jessica, et al.
Veröffentlicht: (2025)

Null-LoRA: Low-Rank Adaptation on Null Space
von: Zhang, Yi, et al.
Veröffentlicht: (2025)

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
von: Zhu, Zhanda, et al.
Veröffentlicht: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
von: Singh, Raul, et al.
Veröffentlicht: (2025)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)

On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

Fine‐Tuning BERT Models for Multiclass Amharic News Document Categorization
von: Demeke Endalie
Veröffentlicht: (2025)

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
von: Chen, Renqi, et al.
Veröffentlicht: (2025)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
von: Zhang, Jia-Chen, et al.
Veröffentlicht: (2024)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

Bayesian-LoRA: Probabilistic Low-Rank Adaptation of Large Language Models
von: Lin, Moule, et al.
Veröffentlicht: (2026)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

Risks When Sharing LoRA Fine-Tuned Diffusion Model Weights
von: Yao, Dixi
Veröffentlicht: (2024)

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
von: Tang, Haozhan, et al.
Veröffentlicht: (2026)

Tensor Ranks and the Fine-Grained Complexity of Dynamic Programming
von: Alman, Josh, et al.
Veröffentlicht: (2023)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
von: Wu, Yize, et al.
Veröffentlicht: (2026)

1LoRA: Summation Compression for Very Low-Rank Adaptation
von: Quercia, Alessio, et al.
Veröffentlicht: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
von: Chen, Yu, et al.
Veröffentlicht: (2025)

Minimalist Softmax Attention Provably Learns Constrained Boolean Functions
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2025)

The Fine-Grained Complexity of Gradient Computation for Training Large Language Models
von: Alman, Josh, et al.
Veröffentlicht: (2024)

On Computational Limits and Provably Efficient Criteria of Visual Autoregressive Models: A Fine-Grained Complexity Analysis
von: Ke, Yekun, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
von: Seregina, Irina, et al.
Veröffentlicht: (2025)

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
von: Shinwari, Haseeb Ullah Khan, et al.
Veröffentlicht: (2025)

A Pseudorandom Generator for Functions of Low-Degree Polynomial Threshold Functions
von: Yao, Penghui, et al.
Veröffentlicht: (2025)

PC-LoRA: Low-Rank Adaptation for Progressive Model Compression with Knowledge Distillation
von: Hwang, Injoon, et al.
Veröffentlicht: (2024)

AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
von: Dong, Haonan, et al.
Veröffentlicht: (2025)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Chang, Huandong, et al.
Veröffentlicht: (2025)

RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
von: Liao, Xiaoxuan, et al.
Veröffentlicht: (2025)