Buchumschlag

LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shi, Yiming, Wei, Jiwei, Wu, Yujia, Ran, Ran, Sun, Chengwei, He, Shiyuan, Yang, Yang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
von: Sun, Chengwei, et al.
Veröffentlicht: (2024)

DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion
von: Wu, Yujia, et al.
Veröffentlicht: (2024)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Zhang, Haojie
Veröffentlicht: (2025)

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Jung, Yeonjoon, et al.
Veröffentlicht: (2025)

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning
von: Zhang, Mingyang, et al.
Veröffentlicht: (2023)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
von: Ahmad, Muhammad, et al.
Veröffentlicht: (2026)

TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Liang, Yao, et al.
Veröffentlicht: (2025)

LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration
von: Ai, Yuang, et al.
Veröffentlicht: (2024)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Chang, Huandong, et al.
Veröffentlicht: (2025)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
von: Chen, Yu, et al.
Veröffentlicht: (2025)

RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
von: Tastan, Nurbek, et al.
Veröffentlicht: (2025)

SALT: Parameter-Efficient Fine-Tuning via Singular Value Adaptation with Low-Rank Transformation
von: Elsayed, Abdelrahman, et al.
Veröffentlicht: (2025)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
von: Si, Chongjie, et al.
Veröffentlicht: (2025)

MASRA: MLLM-Assisted Semantic-Relational Consistent Alignment for Video Temporal Grounding
von: Ran, Ran, et al.
Veröffentlicht: (2026)

Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning
von: Liang, Yao, et al.
Veröffentlicht: (2024)

Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection
von: Peng, Yihang, et al.
Veröffentlicht: (2026)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
von: Shinwari, Haseeb Ullah Khan, et al.
Veröffentlicht: (2025)

QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models
von: Liang, Jessica, et al.
Veröffentlicht: (2025)

LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning
von: Du, Zhekai, et al.
Veröffentlicht: (2025)

FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition
von: Ma, Xindian, et al.
Veröffentlicht: (2026)

LoPT: Low-Rank Prompt Tuning for Parameter Efficient Language Models
von: Guo, Shouchang, et al.
Veröffentlicht: (2024)

MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
von: Ren, Pengjie, et al.
Veröffentlicht: (2024)

LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models
von: Abdi, Hossein, et al.
Veröffentlicht: (2024)

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation
von: Hu, Teng, et al.
Veröffentlicht: (2024)

NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models
von: Lin, Cheng, et al.
Veröffentlicht: (2024)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
von: Li, Yang, et al.
Veröffentlicht: (2024)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
von: Zhang, Jingfan, et al.
Veröffentlicht: (2024)

ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
von: Song, Yurun, et al.
Veröffentlicht: (2024)

High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning
von: Liu, Yongkang, et al.
Veröffentlicht: (2026)