Copertina

HRP: High-Rank Preheating for Superior LoRA Initialization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chen, Yuzhu, Wang, Yingjie, Fu, Shi, Shen, Li, Jing, Yongcheng, Tian, Xinmei, Tao, Dacheng
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops
di: Fu, Shi, et al.
Pubblicazione: (2025)

CoVeR: Conformal Calibration for Versatile and Reliable Autoregressive Next-Token Prediction
di: Chen, Yuzhu, et al.
Pubblicazione: (2025)

A Theoretical Survey on Foundation Models
di: Fu, Shi, et al.
Pubblicazione: (2024)

Towards Theoretical Understandings of Self-Consuming Generative Models
di: Fu, Shi, et al.
Pubblicazione: (2024)

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
di: Zhao, Ziyu, et al.
Pubblicazione: (2024)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
di: Bian, Jieming, et al.
Pubblicazione: (2024)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
di: Sheng, Ying, et al.
Pubblicazione: (2023)

Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power
di: Chen, Yuzhu, et al.
Pubblicazione: (2025)

Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape
di: Li, Tao, et al.
Pubblicazione: (2024)

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
di: Zhao, Ziyu, et al.
Pubblicazione: (2025)

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
di: Shen, Yixin
Pubblicazione: (2025)

AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
di: Dong, Haonan, et al.
Pubblicazione: (2025)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
di: Wang, Shaowen, et al.
Pubblicazione: (2024)

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
di: Zhang, Qingyue, et al.
Pubblicazione: (2025)

Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics
di: Li, Shiwei, et al.
Pubblicazione: (2025)

The Impact of Initialization on LoRA Finetuning Dynamics
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

QuAILoRA: Quantization-Aware Initialization for LoRA
di: Lawton, Neal, et al.
Pubblicazione: (2024)

Run LoRA Run: Faster and Lighter LoRA Implementations
di: Cherniuk, Daria, et al.
Pubblicazione: (2023)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
di: Chen, Guanduo, et al.
Pubblicazione: (2025)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
di: Ed-dib, Abdessalam, et al.
Pubblicazione: (2024)

Rethinking the Rank Threshold for LoRA Fine-Tuning
di: Park, Juneyoung
Pubblicazione: (2026)

Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving
di: Wang, Xinyu, et al.
Pubblicazione: (2025)

Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks
di: Li, Zongqian, et al.
Pubblicazione: (2026)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs
di: Xia, Feifan, et al.
Pubblicazione: (2025)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
di: Smith, Ethan, et al.
Pubblicazione: (2024)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
di: Wu, Yize, et al.
Pubblicazione: (2026)

Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning
di: Feng, Zhi-Quan, et al.
Pubblicazione: (2026)

CopRA: A Progressive LoRA Training Strategy
di: Zhuang, Zhan, et al.
Pubblicazione: (2024)

FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
di: Sathyavageeswaran, Ramakrishnan
Pubblicazione: (2026)

SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning
di: Wu, Yichen, et al.
Pubblicazione: (2025)

AutoRank: MCDA Based Rank Personalization for LoRA-Enabled Distributed Learning
di: Chen, Shuaijun, et al.
Pubblicazione: (2024)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
di: Li, Wenbing, et al.
Pubblicazione: (2025)

PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA
di: Wang, Sheng, et al.
Pubblicazione: (2024)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
di: Li, Jiacheng, et al.
Pubblicazione: (2025)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
di: Huang, Yining, et al.
Pubblicazione: (2025)

Subliminal Learning is a LoRA Artifact
di: Nief, Todd, et al.
Pubblicazione: (2026)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
di: Zhang, Xin, et al.
Pubblicazione: (2025)