Copertina

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Tang, Haozhan, Zhu, Xiuqi, Zhang, Xinyin, Li, Boxun, Smith, Virginia, Kuo, Kevin
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

LoRA vs Full Fine-tuning: An Illusion of Equivalence
di: Shuttleworth, Reece, et al.
Pubblicazione: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
di: Huang, Yining, et al.
Pubblicazione: (2025)

MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
di: Manzoni, Andrea
Pubblicazione: (2026)

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
di: Saket, Abdulmalek
Pubblicazione: (2026)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
di: Liao, Xiaoxuan, et al.
Pubblicazione: (2025)

MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning
di: Rüdiger, Sten, et al.
Pubblicazione: (2026)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
di: Azimi, Rambod, et al.
Pubblicazione: (2024)

DynMoLE: Boosting Mixture of LoRA Experts Fine-Tuning with a Hybrid Routing Mechanism
di: Li, Dengchun, et al.
Pubblicazione: (2025)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
di: Li, Dengchun, et al.
Pubblicazione: (2024)

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
di: Chen, Renqi, et al.
Pubblicazione: (2025)

Federated LoRA with Sparse Communication
di: Kuo, Kevin, et al.
Pubblicazione: (2024)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
di: Singh, Raul, et al.
Pubblicazione: (2025)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
di: Vulić, Ivan, et al.
Pubblicazione: (2026)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2026)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
di: Liu, Yezi, et al.
Pubblicazione: (2025)

LoRA vs. Full Fine-Tuning: A Theoretical Perspective
di: Zindari, Ali, et al.
Pubblicazione: (2026)

Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
di: Wang, Fei, et al.
Pubblicazione: (2025)

AirLLM: Diffusion Policy-based Adaptive LoRA for Remote Fine-Tuning of LLM over the Air
di: Yang, Shiyi, et al.
Pubblicazione: (2025)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
di: Li, Jiacheng, et al.
Pubblicazione: (2025)

VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
di: Li, Yang, et al.
Pubblicazione: (2024)

HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
di: Trojan, Bartosz, et al.
Pubblicazione: (2026)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
di: Wu, Yichao, et al.
Pubblicazione: (2024)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
di: Zhang, Chengqian, et al.
Pubblicazione: (2026)

Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates
di: Xu, Yixing, et al.
Pubblicazione: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
di: Yen, Jui-Nan, et al.
Pubblicazione: (2024)

Sub-Token Routing in LoRA for Adaptation and Query-Aware KV Compression
di: Jiang, Wei, et al.
Pubblicazione: (2026)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
di: Ran, Delong, et al.
Pubblicazione: (2025)

Vision as LoRA
di: Wang, Han, et al.
Pubblicazione: (2025)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
di: Zhou, Zikai, et al.
Pubblicazione: (2025)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
di: Zhang, Jia-Chen, et al.
Pubblicazione: (2024)

OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
di: Xiong, Yifeng, et al.
Pubblicazione: (2025)

Red-Bandit: Test-Time Adaptation for LLM Red-Teaming via Bandit-Guided LoRA Experts
di: Ziakas, Christos, et al.
Pubblicazione: (2025)

On the Role of Encoder Depth: Pruning Whisper and LoRA Fine-Tuning in SLAM-ASR
di: Kolluri, Ganesh Pavan Kartikeya Bharadwaj, et al.
Pubblicazione: (2026)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
di: Zhu, Zhanda, et al.
Pubblicazione: (2025)

Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning
di: Liu, Yezi, et al.
Pubblicazione: (2025)

PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization
di: Meng, Xiangdi, et al.
Pubblicazione: (2024)