Copertina

SBoRA: Low-Rank Adaptation with Regional Weight Updates

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Po, Lai-Man, Liu, Yuyang, Wu, Haoxuan, Zhang, Tianqi, Yu, Wing-Yin, Wang, Zhuohan, Jiang, Zeyu, Li, Kun
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Artificial Intelligence Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

DoRA: Weight-Decomposed Low-Rank Adaptation
di: Liu, Shih-Yang, et al.
Pubblicazione: (2024)

BoRA: Bi-dimensional Weight-Decomposed Low-Rank Adaptation
di: Wang, Qiushi, et al.
Pubblicazione: (2024)

CSULoRA: Closest Safe Update Low-Rank Adaptation
di: Breneur, Oleksandr Marchenko, et al.
Pubblicazione: (2026)

BeamLoRA: Beam-Constraint Low-Rank Adaptation
di: Gu, Naibin, et al.
Pubblicazione: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model
di: Yu, Jiayang, et al.
Pubblicazione: (2025)

TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition
di: Lin, Tianwei, et al.
Pubblicazione: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation
di: Benedek, Nadav, et al.
Pubblicazione: (2024)

BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
di: Qin, Peijia, et al.
Pubblicazione: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
di: Singh, Rajveer
Pubblicazione: (2026)

NLoRA: Nyström-Initiated Low-Rank Adaptation for Large Language Models
di: Guo, Chenlu, et al.
Pubblicazione: (2025)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
di: Nasiri, Hamid, et al.
Pubblicazione: (2025)

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition
di: Ma, Xindian, et al.
Pubblicazione: (2026)

ASLoRA: Adaptive Sharing Low-Rank Adaptation Across Layers
di: Hu, Junyan, et al.
Pubblicazione: (2024)

OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models
di: Büyükakyüz, Kerim
Pubblicazione: (2024)

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
di: Liu, Ziyun, et al.
Pubblicazione: (2026)

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
di: Mu, Lin, et al.
Pubblicazione: (2025)

ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models
di: Liu, Zequan, et al.
Pubblicazione: (2024)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
di: He, Haonan, et al.
Pubblicazione: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation
di: Han, Jialong, et al.
Pubblicazione: (2025)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
di: Si, Chongjie, et al.
Pubblicazione: (2025)

Dual Decomposition of Weights and Singular Value Low Rank Adaptation
di: Han, Jialong, et al.
Pubblicazione: (2025)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
di: Chen, Yu, et al.
Pubblicazione: (2025)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
di: Xiao, Xiaojun, et al.
Pubblicazione: (2024)

TLoRA: Task-aware Low Rank Adaptation of Large Language Models
di: Lin, Weicheng, et al.
Pubblicazione: (2026)

LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization
di: Chang, Yupeng, et al.
Pubblicazione: (2025)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
di: Zhao, Jiancheng, et al.
Pubblicazione: (2025)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
di: Zhou, Kaiye, et al.
Pubblicazione: (2024)

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
di: Jiang, Ting, et al.
Pubblicazione: (2024)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
di: Meng, Xiangdi, et al.
Pubblicazione: (2024)

Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms
di: Vaidya, Omatharv Bharat, et al.
Pubblicazione: (2026)

LoTR: Low Tensor Rank Weight Adaptation
di: Bershatsky, Daniel, et al.
Pubblicazione: (2024)

MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning
di: Wang, Xujia, et al.
Pubblicazione: (2024)

Derivative-Free Optimization for Low-Rank Adaptation in Large Language Models
di: Jin, Feihu, et al.
Pubblicazione: (2024)

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
di: Chang, Yupeng, et al.
Pubblicazione: (2024)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
di: Bałazy, Klaudia, et al.
Pubblicazione: (2024)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)