Copertina

Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Wu, Fei, Hu, Jia, Min, Geyong, Wang, Shiqiang
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Adaptive Rank Allocation for Federated Parameter-Efficient Fine-Tuning of Language Models
di: Wu, Fei, et al.
Pubblicazione: (2025)

BoHA: Blockwise Hadamard Product Adaptation for Parameter-Efficient Fine-Tuning
di: Yu, Feng, et al.
Pubblicazione: (2025)

Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning
di: Yu, Feng, et al.
Pubblicazione: (2025)

Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity
di: Wu, Fei, et al.
Pubblicazione: (2026)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2024)

CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning
di: Ge, Jingze, et al.
Pubblicazione: (2026)

Towards Robust Spiking Neural Networks:Mitigating Heterogeneous Training Vulnerability via Dominant Eigencomponent Projection
di: Zhang, Desong, et al.
Pubblicazione: (2025)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
di: Yu, Ziming, et al.
Pubblicazione: (2024)

Perturbations in the Orthogonal Complement Subspace for Efficient Out-of-Distribution Detection
di: Huang, Zhexiao, et al.
Pubblicazione: (2025)

EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference
di: Kaushik, Prakhar, et al.
Pubblicazione: (2025)

Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning
di: Feng, Zhi-Quan, et al.
Pubblicazione: (2026)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
di: Liao, Xiaoxuan, et al.
Pubblicazione: (2025)

Fine-Tuned In-Context Learners for Efficient Adaptation
di: Bornschein, Jorg, et al.
Pubblicazione: (2025)

Federated Continual Learning for Edge-AI: A Comprehensive Survey
di: Wang, Zi, et al.
Pubblicazione: (2024)

Global Variational Inference Enhanced Robust Domain Adaptation
di: Luo, Lingkun, et al.
Pubblicazione: (2025)

Beyond Batch Learning: Global Awareness Enhanced Domain Adaptation
di: Luo, Lingkun, et al.
Pubblicazione: (2025)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
di: Wan, Zhiyi, et al.
Pubblicazione: (2025)

LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning
di: Du, Zhekai, et al.
Pubblicazione: (2025)

Differentially Private Subspace Fine-Tuning for Large Language Models
di: Zheng, Lele, et al.
Pubblicazione: (2026)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
di: Ma, Xinyu, et al.
Pubblicazione: (2024)

PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
di: Li, Yanyi, et al.
Pubblicazione: (2026)

Selection of LLM Fine-Tuning Data based on Orthogonal Rules
di: Li, Xiaomin, et al.
Pubblicazione: (2024)

Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge
di: Li, Songyuan, et al.
Pubblicazione: (2025)

Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients
di: Zheng, Shenlong, et al.
Pubblicazione: (2026)

PaCA: Partial Connection Adaptation for Efficient Fine-Tuning
di: Woo, Sunghyeon, et al.
Pubblicazione: (2025)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
di: Feng, Jian, et al.
Pubblicazione: (2026)

Mixture-of-Subspaces in Low-Rank Adaptation
di: Wu, Taiqiang, et al.
Pubblicazione: (2024)

Gradient Deconfliction via Orthogonal Projections onto Subspaces For Multi-task Learning
di: Zhu, Shijie, et al.
Pubblicazione: (2025)

Model Partition and Resource Allocation for Split Learning in Vehicular Edge Networks
di: Yu, Lu, et al.
Pubblicazione: (2024)

Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning
di: Cheng, Yifei, et al.
Pubblicazione: (2026)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
di: Liu, Jun, et al.
Pubblicazione: (2025)

Calibrated Adaptation: Bayesian Stiefel Manifold Priors for Reliable Parameter-Efficient Fine-Tuning
di: Shihab, Ibne Farabi, et al.
Pubblicazione: (2026)

NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models
di: Lin, Cheng, et al.
Pubblicazione: (2024)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
di: Meng, Fanxu, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
di: Gao, Ziqi, et al.
Pubblicazione: (2024)

Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization
di: Lang, Yicheng, et al.
Pubblicazione: (2026)

Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
di: Wang, Yizheng, et al.
Pubblicazione: (2025)

Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
di: Zhang, Xiyang, et al.
Pubblicazione: (2026)

Dynamic Subspace Composition: Efficient Adaptation via Contractive Basis Expansion
di: Khasia, Vladimer
Pubblicazione: (2025)

Noise Optimized Conditional Diffusion for Domain Adaptation
di: Luo, Lingkun, et al.
Pubblicazione: (2025)