Copertina

LoRA Training in the NTK Regime has No Spurious Local Minima

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Jang, Uijeong, Lee, Jason D., Ryu, Ernest K.
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Optimization and Control
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Sharpness-Aware Minimization Can Hallucinate Minimizers
di: Park, Chanwoong, et al.
Pubblicazione: (2025)

Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
di: Jang, Uijeong, et al.
Pubblicazione: (2025)

Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
di: Zhang, Richard Y.
Pubblicazione: (2025)

Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA
di: Jang, Uijeong, et al.
Pubblicazione: (2023)

ALiA: Adaptive Linearized ADMM
di: Jang, Uijeong, et al.
Pubblicazione: (2026)

Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
di: Sokolov, Igor, et al.
Pubblicazione: (2025)

Optimal Acceleration for Proximal Minimization of the Sum of Convex and Strongly Convex Functions
di: Chari, Govind M., et al.
Pubblicazione: (2026)

Data Uniformity Improves Training Efficiency and More, with a Convergence Framework Beyond the NTK Regime
di: Wang, Yuqing, et al.
Pubblicazione: (2025)

Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
di: Zhang, Fangzhao, et al.
Pubblicazione: (2024)

Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation
di: Malinovsky, Grigory, et al.
Pubblicazione: (2024)

Deflated Dynamics Value Iteration
di: Lee, Jongmin, et al.
Pubblicazione: (2024)

WeightLoRA: Keep Only Necessary Adapters
di: Veprikov, Andrey, et al.
Pubblicazione: (2025)

Sharpness of Minima in Deep Matrix Factorization
di: Kamber, Anil, et al.
Pubblicazione: (2025)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
di: Phunyaphibarn, Prin, et al.
Pubblicazione: (2023)

Hidden Minima in Two-Layer ReLU Networks
di: Arjevani, Yossi
Pubblicazione: (2023)

BiCoLoR: Communication-Efficient Optimization with Bidirectional Compression and Local Training
di: Condat, Laurent, et al.
Pubblicazione: (2026)

A Non-Monotone Line-Search Method for Minimizing Functions with Spurious Local Minima
di: Aminifard, Zohreh, et al.
Pubblicazione: (2025)

Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime
di: Oberweis, Noah, et al.
Pubblicazione: (2025)

Spurious Stationarity and Hardness Results for Bregman Proximal-Type Algorithms
di: Chen, He, et al.
Pubblicazione: (2024)

The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
di: Hazelden, James, et al.
Pubblicazione: (2026)

State-Space NTK Collapse Near Bifurcations
di: Hazelden, James, et al.
Pubblicazione: (2026)

Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
di: Beneventano, Pierfrancesco, et al.
Pubblicazione: (2025)

From Saddle Points Toward Global Minima: A Newton-Type Method on Wasserstein Space
di: Lascu, Razvan-Andrei, et al.
Pubblicazione: (2026)

Zeroth-Order Optimization Finds Flat Minima
di: Zhang, Liang, et al.
Pubblicazione: (2025)

LoCo: Low-Bit Communication Adaptor for Large-scale Model Training
di: Xie, Xingyu, et al.
Pubblicazione: (2024)

Curvature-Guided LoRA: Steering in the pretrained NTK subspace
di: Zheng, Frédéric, et al.
Pubblicazione: (2026)

LoRA Training Provably Converges to a Low-Rank Global Minimum or It Fails Loudly (But it Probably Won't Fail)
di: Kim, Junsu, et al.
Pubblicazione: (2025)

Enhancing Privacy in Federated Learning through Local Training
di: Bastianello, Nicola, et al.
Pubblicazione: (2024)

Optimal Non-Asymptotic Rates of Value Iteration for Average-Reward Markov Decision Processes
di: Lee, Jongmin, et al.
Pubblicazione: (2025)

Nesterov Flow May Travel Infinitely Long to Converge to a Minimizer
di: Ryu, Ernest K.
Pubblicazione: (2026)

Uniqueness of DRS as the 2 Operator Resolvent-Splitting and Impossibility of 3 Operator Resolvent-Splitting
di: Ryu, Ernest K.
Pubblicazione: (2018)

Precise Performance of Linear Denoisers in the Proportional Regime
di: Ghane, Reza, et al.
Pubblicazione: (2026)

Anytime Acceleration of Gradient Descent
di: Zhang, Zihan, et al.
Pubblicazione: (2024)

TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation
di: Condat, Laurent, et al.
Pubblicazione: (2023)

LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
di: Condat, Laurent, et al.
Pubblicazione: (2024)

Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
di: Attia, Amit, et al.
Pubblicazione: (2025)

$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points
di: Guan, Jiewen, et al.
Pubblicazione: (2024)

Criteria and Bias of Parameterized Linear Regression under Edge of Stability Regime
di: Zhang, Peiyuan, et al.
Pubblicazione: (2024)

Probabilistic Smoothing with Ratio-Monotone Transforms for Global Optimization
di: Jang, Kukyoung, et al.
Pubblicazione: (2026)

Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
di: Zhang, Richard Y.
Pubblicazione: (2021)