Copertina

Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kang, Changmin, Yun, Jihun, Shin, Baekrok, Cho, Yeseul, Yun, Chulhee
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Lightweight Dataset Pruning without Full Training via Example Difficulty and Prediction Uncertainty
di: Cho, Yeseul, et al.
Pubblicazione: (2025)

Implicit Bias and Loss of Plasticity in Matrix Completion: Depth Promotes Low-Rankness
di: Shin, Baekrok, et al.
Pubblicazione: (2026)

DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity
di: Shin, Baekrok, et al.
Pubblicazione: (2024)

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
di: Jung, Hyunji, et al.
Pubblicazione: (2025)

On the Convergence Rate of LoRA Gradient Descent
di: Mu, Siqiao, et al.
Pubblicazione: (2025)

Latent Space Factorization in LoRA
di: Kumar, Shashi, et al.
Pubblicazione: (2025)

Run LoRA Run: Faster and Lighter LoRA Implementations
di: Cherniuk, Daria, et al.
Pubblicazione: (2023)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
di: Yen, Jui-Nan, et al.
Pubblicazione: (2024)

Convergent Stochastic Training of Attention and Understanding LoRA
di: Sun, Zhengkai, et al.
Pubblicazione: (2026)

Tensorized Clustered LoRA Merging for Multi-Task Interference
di: Su, Zhan, et al.
Pubblicazione: (2025)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
di: Chen, Guanduo, et al.
Pubblicazione: (2025)

LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
di: Smith, Ethan, et al.
Pubblicazione: (2024)

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence
di: Castin, Valérie, et al.
Pubblicazione: (2026)

GEM-Style Constraints for PEFT with Dual Gradient Projection in LoRA
di: Tekmen, Brian, et al.
Pubblicazione: (2026)

Fundamental Benefit of Alternating Updates in Minimax Optimization
di: Lee, Jaewook, et al.
Pubblicazione: (2024)

Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving
di: Wang, Xinyu, et al.
Pubblicazione: (2025)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
di: Sheng, Ying, et al.
Pubblicazione: (2023)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
di: Zhou, Hongyun, et al.
Pubblicazione: (2024)

Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs
di: Xia, Feifan, et al.
Pubblicazione: (2025)

Riemannian Optimization for LoRA on the Stiefel Manifold
di: Park, Juneyoung, et al.
Pubblicazione: (2025)

Understanding LoRA as Knowledge Memory: An Empirical Analysis
di: Back, Seungju, et al.
Pubblicazione: (2026)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
di: Lee, Seungeon, et al.
Pubblicazione: (2025)

Revisiting LoRA through the Lens of Parameter Redundancy: Spectral Encoding Helps
di: Cheng, Jiashun, et al.
Pubblicazione: (2025)

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
di: Shah, Viraj, et al.
Pubblicazione: (2023)

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
di: Shen, Yixin
Pubblicazione: (2025)

R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
di: Liu, Jinda, et al.
Pubblicazione: (2025)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
di: Li, Jiacheng, et al.
Pubblicazione: (2025)

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing
di: Li, Wenbing, et al.
Pubblicazione: (2025)

SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
di: Singh, Rajveer
Pubblicazione: (2026)

Provable Benefit of Cutout and CutMix for Feature Learning
di: Oh, Junsoo, et al.
Pubblicazione: (2024)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
di: Bian, Jieming, et al.
Pubblicazione: (2024)

Mixture of LoRA Experts
di: Wu, Xun, et al.
Pubblicazione: (2024)

Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning
di: Chen, Xin, et al.
Pubblicazione: (2025)

CopRA: A Progressive LoRA Training Strategy
di: Zhuang, Zhan, et al.
Pubblicazione: (2024)

LoRA-MME: Multi-Model Ensemble of LoRA-Tuned Encoders for Code Comment Classification
di: Haider, Md Akib, et al.
Pubblicazione: (2026)

SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
di: Zhou, Shuaipeng, et al.
Pubblicazione: (2026)

Spectral Geometry of LoRA Adapters Encodes Training Objective and Predicts Harmful Compliance
di: Paul, Roi
Pubblicazione: (2026)

A Note on LoRA
di: Fomenko, Vlad, et al.
Pubblicazione: (2024)

PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA
di: Wang, Sheng, et al.
Pubblicazione: (2024)

Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization
di: Xu, Ziqing, et al.
Pubblicazione: (2025)