Copertina

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Luo, Minrui, Kuang, Fuhang, Wang, Yu, Liu, Zirui, He, Tianxing
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
di: Shen, Yixin
Pubblicazione: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
di: Azimi, Rambod, et al.
Pubblicazione: (2024)

Activated LoRA: Fine-tuned LLMs for Intrinsics
di: Greenewald, Kristjan, et al.
Pubblicazione: (2025)

R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
di: Liu, Jinda, et al.
Pubblicazione: (2025)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
di: Sheng, Ying, et al.
Pubblicazione: (2023)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
di: Ran, Delong, et al.
Pubblicazione: (2025)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
di: Li, Wenbing, et al.
Pubblicazione: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
di: Lee, Seungeon, et al.
Pubblicazione: (2025)

SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
di: Zhou, Shuaipeng, et al.
Pubblicazione: (2026)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
di: Yen, Jui-Nan, et al.
Pubblicazione: (2024)

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
di: Zhu, Zhanda, et al.
Pubblicazione: (2025)

A Note on LoRA
di: Fomenko, Vlad, et al.
Pubblicazione: (2024)

ZKLoRA: Efficient Zero-Knowledge Proofs for LoRA Verification
di: Roy, Bidhan, et al.
Pubblicazione: (2025)

ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads
di: Zuo, Jingwei, et al.
Pubblicazione: (2026)

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients
di: Shen, Zhikang, et al.
Pubblicazione: (2026)

mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs
di: Ye, Zhengmao, et al.
Pubblicazione: (2023)

Rethinking the Rank Threshold for LoRA Fine-Tuning
di: Park, Juneyoung
Pubblicazione: (2026)

FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
di: Yan, Peishen, et al.
Pubblicazione: (2026)

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning
di: Lee, Yu-Ang, et al.
Pubblicazione: (2026)

Conditional LoRA Parameter Generation
di: Jin, Xiaolong, et al.
Pubblicazione: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment
di: Peng, Hongyi, et al.
Pubblicazione: (2026)

Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
di: Seregina, Irina, et al.
Pubblicazione: (2025)

FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic
di: Choi, Kanghyun, et al.
Pubblicazione: (2025)

FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
di: Bian, Jieming, et al.
Pubblicazione: (2026)

Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models
di: Liu, Jin, et al.
Pubblicazione: (2026)

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance
di: Chung, Hyunsuk, et al.
Pubblicazione: (2026)

Improving the Serving Performance of Multi-LoRA Large Language Models via Efficient LoRA and KV Cache Management
di: Zhang, Hang, et al.
Pubblicazione: (2025)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

Shared LoRA Subspaces for almost Strict Continual Learning
di: Kaushik, Prakhar, et al.
Pubblicazione: (2026)

EMLoC: Emulator-based Memory-efficient Fine-tuning with LoRA Correction
di: Lin, Hsi-Che, et al.
Pubblicazione: (2025)

LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B
di: Lermen, Simon, et al.
Pubblicazione: (2023)

Improving LoRA with Variational Learning
di: Cong, Bai, et al.
Pubblicazione: (2025)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
di: Zhang, Yuxuan, et al.
Pubblicazione: (2024)

HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization
di: Su, Yang, et al.
Pubblicazione: (2024)

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
di: Zhang, Haobo, et al.
Pubblicazione: (2025)

Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
di: Rahulamathavan, Yogachandran, et al.
Pubblicazione: (2026)

Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy
di: Jeong, Wooseong, et al.
Pubblicazione: (2026)

The Impact of Initialization on LoRA Finetuning Dynamics
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

Semantic-guided LoRA Parameters Generation
di: Li, Miaoge, et al.
Pubblicazione: (2025)