Copertina

LoRA-FA: Efficient and Effective Low Rank Representation Fine-tuning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Longteng, Zhang, Lin, Shi, Shaohuai, Chu, Xiaowen, Li, Bo
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
di: Ran, Delong, et al.
Pubblicazione: (2025)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
di: Meng, Xiangdi, et al.
Pubblicazione: (2024)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
di: Zhang, Jingfan, et al.
Pubblicazione: (2024)

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition
di: Ma, Xindian, et al.
Pubblicazione: (2026)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
di: Barazandeh, Babak, et al.
Pubblicazione: (2025)

LoRA vs Full Fine-tuning: An Illusion of Equivalence
di: Shuttleworth, Reece, et al.
Pubblicazione: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
di: Zhang, Jia-Chen, et al.
Pubblicazione: (2024)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
di: Singh, Raul, et al.
Pubblicazione: (2025)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning
di: Xia, Wenhan, et al.
Pubblicazione: (2024)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
di: Zhou, Zikai, et al.
Pubblicazione: (2025)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
di: Huang, Yining, et al.
Pubblicazione: (2025)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2026)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)

Assertion Detection Large Language Model In-context Learning LoRA Fine-tuning
di: Ji, Yuelyu, et al.
Pubblicazione: (2024)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
di: Azimi, Rambod, et al.
Pubblicazione: (2024)

Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates
di: Xu, Yixing, et al.
Pubblicazione: (2025)

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks
di: SeraJ, Javad, et al.
Pubblicazione: (2025)

HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
di: Zhang, Hao, et al.
Pubblicazione: (2025)

Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA
di: Hao, Jie, et al.
Pubblicazione: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

Sparsity-Aware Low-Rank Representation for Efficient Fine-Tuning of Large Language Models
di: Zhang, Longteng, et al.
Pubblicazione: (2026)

CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
di: Zhao, Weilin, et al.
Pubblicazione: (2023)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
di: Li, Yang, et al.
Pubblicazione: (2024)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
di: Vulić, Ivan, et al.
Pubblicazione: (2026)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
di: Chen, Yu, et al.
Pubblicazione: (2025)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
di: Zhang, Yuxuan, et al.
Pubblicazione: (2024)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

ZipCCL: Efficient Lossless Data Compression of Communication Collectives for Accelerating LLM Training
di: Lin, Wenxiang, et al.
Pubblicazione: (2026)

MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models
di: Cheng, Bo, et al.
Pubblicazione: (2025)

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning
di: Lee, Yu-Ang, et al.
Pubblicazione: (2026)

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
di: Xiao, Yicheng, et al.
Pubblicazione: (2025)

Vision as LoRA
di: Wang, Han, et al.
Pubblicazione: (2025)

Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks
di: Li, Zongqian, et al.
Pubblicazione: (2026)

ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
di: Song, Yurun, et al.
Pubblicazione: (2024)

MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation
di: Dong, Qin, et al.
Pubblicazione: (2025)