Buchumschlag

Sparse Orthogonal Parameters Tuning for Continual Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ning, Kun-Peng, Ke, Hai-Jian, Liu, Yu-Yang, Yao, Jia-Yu, Tian, Yong-Hong, Yuan, Li
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Is Parameter Collision Hindering Continual Learning in LLMs?
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

PiCO: Peer Review in LLMs based on the Consistency Optimization
von: Ning, Kun-Peng, et al.
Veröffentlicht: (2024)

Meta-Learning Hyperparameters for Parameter Efficient Fine-Tuning
von: Tian, Zichen, et al.
Veröffentlicht: (2026)

Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective
von: Liu, Jingren, et al.
Veröffentlicht: (2024)

Continual Learning on Graphs: A Survey
von: Tian, Zonggui, et al.
Veröffentlicht: (2024)

Gradient Projection For Continual Parameter-Efficient Tuning
von: Qiao, Jingyang, et al.
Veröffentlicht: (2024)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
von: Wan, Zhiyi, et al.
Veröffentlicht: (2025)

GNSP: Gradient Null Space Projection for Preserving Cross-Modal Alignment in VLMs Continual Learning
von: Peng, Tiantian, et al.
Veröffentlicht: (2025)

Relaxing Continuous Constraints of Equivariant Graph Neural Networks for Physical Dynamics Learning
von: Zheng, Zinan, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning via Circular Convolution
von: Chen, Aochuan, et al.
Veröffentlicht: (2024)

BoHA: Blockwise Hadamard Product Adaptation for Parameter-Efficient Fine-Tuning
von: Yu, Feng, et al.
Veröffentlicht: (2025)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
von: Ma, Xinyu, et al.
Veröffentlicht: (2024)

Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning
von: Lu, Binghang, et al.
Veröffentlicht: (2026)

Sparse Tuning Enhances Plasticity in PTM-based Continual Learning
von: Zhang, Huan, et al.
Veröffentlicht: (2025)

Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation
von: Wu, Fei, et al.
Veröffentlicht: (2025)

MuonEq: Balancing Before Orthogonalization with Lightweight Equilibration
von: Chang, Da, et al.
Veröffentlicht: (2026)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization
von: Pang, Jing-Cheng, et al.
Veröffentlicht: (2021)

SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models
von: Zhao, Linglan, et al.
Veröffentlicht: (2024)

Parameter-Efficient Continual Fine-Tuning: A Survey
von: Coleman, Eric Nuertey, et al.
Veröffentlicht: (2025)

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA
von: Yang, Nuocheng, et al.
Veröffentlicht: (2026)

OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment
von: Lin, Liang, et al.
Veröffentlicht: (2025)

Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
von: Zhang, Tian, et al.
Veröffentlicht: (2026)

Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning
von: Yu, Feng, et al.
Veröffentlicht: (2025)

Towards Understanding Feature Learning in Parameter Transfer
von: Yuan, Hua, et al.
Veröffentlicht: (2025)

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
von: Garg, Ishir, et al.
Veröffentlicht: (2026)

Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning
von: Cheng, Yifei, et al.
Veröffentlicht: (2026)

Continuous Invariance Learning
von: Lin, Yong, et al.
Veröffentlicht: (2023)

Federated Continual Instruction Tuning
von: Guo, Haiyang, et al.
Veröffentlicht: (2025)

Learning Continuous Face Representation with Explicit Functions
von: Zhang, Liping, et al.
Veröffentlicht: (2021)

Community-Aware Temporal Walks: Parameter-Free Representation Learning on Continuous-Time Dynamic Graphs
von: Yu, He, et al.
Veröffentlicht: (2025)

Numerical Approximation Capacity of Neural Networks with Bounded Parameters: Do Limits Exist, and How Can They Be Measured?
von: Liu, Li, et al.
Veröffentlicht: (2024)

Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization
von: Liu, Weiyang, et al.
Veröffentlicht: (2023)

Autonomous Discovery of the Ising Model's Critical Parameters with Reinforcement Learning
von: Man, Hai, et al.
Veröffentlicht: (2026)

Sparse Gradient Compression for Fine-Tuning Large Language Models
von: Yang, David H., et al.
Veröffentlicht: (2025)

Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
von: Lin, Zekai, et al.
Veröffentlicht: (2026)

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin
von: Yang, Shuo, et al.
Veröffentlicht: (2025)

HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning
von: Wang, Liyuan, et al.
Veröffentlicht: (2024)

Machine-Learning-Assisted Comparison of Regression Functions
von: Yan, Jian, et al.
Veröffentlicht: (2025)

Disentangled Representation Learning for Parametric Partial Differential Equations
von: Liu, Ning, et al.
Veröffentlicht: (2024)