Copertina

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Liao, Xiaoxuan, Wang, Chihang, Zhou, Shicheng, Hu, Jiacheng, Zheng, Hongye, Gao, Jia
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Optimizing Large Language Models with an Enhanced LoRA Fine-Tuning Algorithm for Efficiency and Robustness in NLP Tasks
di: Hu, Jiacheng, et al.
Pubblicazione: (2024)

Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models
di: Wang, Shuo, et al.
Pubblicazione: (2024)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
di: Zhang, Yuxuan, et al.
Pubblicazione: (2024)

MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models
di: Cheng, Bo, et al.
Pubblicazione: (2025)

LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks
di: Wang, Hanqing, et al.
Pubblicazione: (2024)

A Fine-Tuning Approach for T5 Using Knowledge Graphs to Address Complex Tasks
di: Liao, Xiaoxuan, et al.
Pubblicazione: (2025)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models
di: Zhang, Linhai, et al.
Pubblicazione: (2024)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
di: Wu, Yichao, et al.
Pubblicazione: (2024)

Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer
di: Gao, Jia, et al.
Pubblicazione: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
di: Azimi, Rambod, et al.
Pubblicazione: (2024)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
di: Li, Jiacheng, et al.
Pubblicazione: (2025)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
di: Singh, Raul, et al.
Pubblicazione: (2025)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
di: Li, Dengchun, et al.
Pubblicazione: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
di: Huang, Yining, et al.
Pubblicazione: (2025)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
di: Zhang, Jia-Chen, et al.
Pubblicazione: (2024)

Optimizing Multi-Task Learning for Enhanced Performance in Large Language Models
di: Qi, Zhen, et al.
Pubblicazione: (2024)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
di: Zhou, Zikai, et al.
Pubblicazione: (2025)

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
di: Tang, Haozhan, et al.
Pubblicazione: (2026)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
di: Li, Yanan, et al.
Pubblicazione: (2025)

VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
di: Li, Yang, et al.
Pubblicazione: (2024)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
di: Chen, Guanduo, et al.
Pubblicazione: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
di: Trojan, Bartosz, et al.
Pubblicazione: (2026)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
di: Vulić, Ivan, et al.
Pubblicazione: (2026)

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
di: Chen, Renqi, et al.
Pubblicazione: (2025)

A Survey on LoRA of Large Language Models
di: Mao, Yuren, et al.
Pubblicazione: (2024)

OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
di: Xiong, Yifeng, et al.
Pubblicazione: (2025)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2026)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
di: Liu, Yezi, et al.
Pubblicazione: (2025)

CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
di: Zhao, Weilin, et al.
Pubblicazione: (2023)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
di: Ran, Delong, et al.
Pubblicazione: (2025)

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
di: Xiao, Yicheng, et al.
Pubblicazione: (2025)

A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs
di: Wei, Jiacheng, et al.
Pubblicazione: (2025)

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks
di: SeraJ, Javad, et al.
Pubblicazione: (2025)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
di: Barazandeh, Babak, et al.
Pubblicazione: (2025)

SplitLoRA: A Split Parameter-Efficient Fine-Tuning Framework for Large Language Models
di: Lin, Zheng, et al.
Pubblicazione: (2024)

LoRA-Guard: Parameter-Efficient Guardrail Adaptation for Content Moderation of Large Language Models
di: Elesedy, Hayder, et al.
Pubblicazione: (2024)