Copertina

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhao, Yequan, Zhang, Ruijie, Tan, Liyan, Moran, Niall, Qin, Tong, Zhang, Zheng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
di: Jiang, Ting, et al.
Pubblicazione: (2024)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)

MUON+: Towards More Effective Muon via One Additional Normalization Step for LLM Pre-training
di: Zhang, Ruijie, et al.
Pubblicazione: (2026)

Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning
di: Liu, Ziyue, et al.
Pubblicazione: (2026)

Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
di: Zhang, Fangzhao, et al.
Pubblicazione: (2024)

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Jung, Yeonjoon, et al.
Pubblicazione: (2025)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
di: Zhang, Chengqian, et al.
Pubblicazione: (2026)

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
di: Zhang, Yilang, et al.
Pubblicazione: (2025)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
di: Liu, Jun, et al.
Pubblicazione: (2025)

RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
di: Zhang, Yilang, et al.
Pubblicazione: (2025)

On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
di: Ahmad, Muhammad, et al.
Pubblicazione: (2026)

HiFT: A Hierarchical Full Parameter Fine-Tuning Strategy
di: Liu, Yongkang, et al.
Pubblicazione: (2024)

MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization
di: Su, Yupeng, et al.
Pubblicazione: (2026)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning
di: Ou, Jie, et al.
Pubblicazione: (2025)

NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models
di: Lin, Cheng, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
di: Seregina, Irina, et al.
Pubblicazione: (2025)

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
di: Shinwari, Haseeb Ullah Khan, et al.
Pubblicazione: (2025)

Rethinking the Rank Threshold for LoRA Fine-Tuning
di: Park, Juneyoung
Pubblicazione: (2026)

LoRA vs. Full Fine-Tuning: A Theoretical Perspective
di: Zindari, Ali, et al.
Pubblicazione: (2026)

DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
di: Gao, Chao, et al.
Pubblicazione: (2024)

LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
di: Zhang, Yuanhe, et al.
Pubblicazione: (2025)

SplitLoRA: A Split Parameter-Efficient Fine-Tuning Framework for Large Language Models
di: Lin, Zheng, et al.
Pubblicazione: (2024)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
di: Barazandeh, Babak, et al.
Pubblicazione: (2025)

When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning
di: Zhao, Haoran, et al.
Pubblicazione: (2026)

QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models
di: Liang, Jessica, et al.
Pubblicazione: (2025)

FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence
di: Wan, Guoan, et al.
Pubblicazione: (2025)

Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection
di: Peng, Yihang, et al.
Pubblicazione: (2026)

LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning
di: Zhang, Mingyang, et al.
Pubblicazione: (2023)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
di: Chen, Guanduo, et al.
Pubblicazione: (2025)

HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models
di: Lin, Zheng, et al.
Pubblicazione: (2025)

Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models
di: Cao, Shilei, et al.
Pubblicazione: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey
di: Han, Zeyu, et al.
Pubblicazione: (2024)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
di: Ed-dib, Abdessalam, et al.
Pubblicazione: (2024)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
di: Chen, Ziye, et al.
Pubblicazione: (2026)

TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
di: Kunwar, Pradip, et al.
Pubblicazione: (2025)

FedLoRA-Optimizer: Federated LoRA Fine-Tuning with Global and Local Optimization in Heterogeneous Data Scenarios
di: Zhao, Jianzhe, et al.
Pubblicazione: (2025)

Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
di: Wang, Yizheng, et al.
Pubblicazione: (2025)

Look Within or Look Beyond? A Theoretical Comparison Between Parameter-Efficient and Full Fine-Tuning
di: Liu, Yongkang, et al.
Pubblicazione: (2025)