Buchumschlag

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Hongyun, Lu, Xiangyu, Xu, Wang, Zhu, Conghui, Zhao, Tiejun, Yang, Muyun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

Mixture of LoRA Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)

Conditional LoRA Parameter Generation
von: Jin, Xiaolong, et al.
Veröffentlicht: (2024)

A Note on LoRA
von: Fomenko, Vlad, et al.
Veröffentlicht: (2024)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
von: Cheng, Ming, et al.
Veröffentlicht: (2025)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

Improving LoRA with Variational Learning
von: Cong, Bai, et al.
Veröffentlicht: (2025)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
von: Zhang, Yuxuan, et al.
Veröffentlicht: (2024)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
von: Sheng, Ying, et al.
Veröffentlicht: (2023)

SEQR: Secure and Efficient QR-based LoRA Routing
von: Fleshman, William, et al.
Veröffentlicht: (2025)

Run LoRA Run: Faster and Lighter LoRA Implementations
von: Cherniuk, Daria, et al.
Veröffentlicht: (2023)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA
von: Wang, Sheng, et al.
Veröffentlicht: (2024)

QuAILoRA: Quantization-Aware Initialization for LoRA
von: Lawton, Neal, et al.
Veröffentlicht: (2024)

FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
von: Sathyavageeswaran, Ramakrishnan
Veröffentlicht: (2026)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA Learns Less and Forgets Less
von: Biderman, Dan, et al.
Veröffentlicht: (2024)

LoRA Is Slower Than You Think
von: Ko, Seokmin
Veröffentlicht: (2025)

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

A Survey on LoRA of Large Language Models
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
von: Li, Wenbing, et al.
Veröffentlicht: (2025)

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
von: Bae, Sangmin, et al.
Veröffentlicht: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

Multi-LoRA Composition for Image Generation
von: Zhong, Ming, et al.
Veröffentlicht: (2024)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
von: Zhou, Zikai, et al.
Veröffentlicht: (2025)

R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
von: Liu, Jinda, et al.
Veröffentlicht: (2025)

Tina: Tiny Reasoning Models via LoRA
von: Wang, Shangshang, et al.
Veröffentlicht: (2025)

Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving
von: Wang, Xinyu, et al.
Veröffentlicht: (2025)

Semantic-guided LoRA Parameters Generation
von: Li, Miaoge, et al.
Veröffentlicht: (2025)

LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
von: Smith, Ethan, et al.
Veröffentlicht: (2024)

Weight space Detection of Backdoors in LoRA Adapters
von: Merenciano, David Puertolas, et al.
Veröffentlicht: (2026)