Buchumschlag

Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Tao, He, Zhengbao, Li, Yujun, Wang, Yasheng, Shang, Lifeng, Huang, Xiaolin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
von: Wu, Yize, et al.
Veröffentlicht: (2026)

SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning
von: Wu, Yichen, et al.
Veröffentlicht: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
von: Zhang, Qingyue, et al.
Veröffentlicht: (2025)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
von: Dong, Haonan, et al.
Veröffentlicht: (2025)

Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
von: Sokolov, Igor, et al.
Veröffentlicht: (2025)

HRP: High-Rank Preheating for Superior LoRA Initialization
von: Chen, Yuzhu, et al.
Veröffentlicht: (2025)

C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models
von: Rahmati, Amir Hossein, et al.
Veröffentlicht: (2025)

Online-LoRA: Task-free Online Continual Learning via Low Rank Adaptation
von: Wei, Xiwen, et al.
Veröffentlicht: (2024)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
von: Bałazy, Klaudia, et al.
Veröffentlicht: (2024)

D2-LoRA: A Synergistic Approach to Differential and Directional Low-Rank Adaptation
von: Fujisawa, Nozomu, et al.
Veröffentlicht: (2026)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
von: Chen, Lixian, et al.
Veröffentlicht: (2026)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

Bi-LoRA: Efficient Sharpness-Aware Minimization for Fine-Tuning Large-Scale Models
von: Liu, Yuhang, et al.
Veröffentlicht: (2025)

G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs
von: Wang, Yuhan, et al.
Veröffentlicht: (2026)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

ST-LoRA: Low-rank Adaptation for Spatio-Temporal Forecasting
von: Ruan, Weilin, et al.
Veröffentlicht: (2024)

Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation
von: Malinovsky, Grigory, et al.
Veröffentlicht: (2024)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

Laplacian-LoRA: Delaying Oversmoothing in Deep GCNs via Spectral Low-Rank Adaptation
von: Alisetti, Sai Vamsi
Veröffentlicht: (2026)

SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation
von: Li, Mingjie, et al.
Veröffentlicht: (2025)

Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs
von: Xia, Feifan, et al.
Veröffentlicht: (2025)

CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models
von: Wang, Zhuxuanzi, et al.
Veröffentlicht: (2025)

QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models
von: Liang, Jessica, et al.
Veröffentlicht: (2025)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction
von: Yuan, Li, et al.
Veröffentlicht: (2025)

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
von: Chang, Yupeng, et al.
Veröffentlicht: (2024)

Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization
von: Xu, Ziqing, et al.
Veröffentlicht: (2025)

RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
von: Liu, Dongqi, et al.
Veröffentlicht: (2024)

Run LoRA Run: Faster and Lighter LoRA Implementations
von: Cherniuk, Daria, et al.
Veröffentlicht: (2023)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
von: Ed-dib, Abdessalam, et al.
Veröffentlicht: (2024)

Flat Channels to Infinity in Neural Loss Landscapes
von: Martinelli, Flavio, et al.
Veröffentlicht: (2025)

Rethinking the Rank Threshold for LoRA Fine-Tuning
von: Park, Juneyoung
Veröffentlicht: (2026)

ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
von: Wang, Xiaoyu, et al.
Veröffentlicht: (2025)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)