:: Library Catalog

Copertina

Salvato in:

Dettagli Bibliografici
Autori principali:	Chen, Lizhang, Li, Jonathan, Liu, Qiang
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Optimization and Control
Accesso online:	https://arxiv.org/abs/2506.15054
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
di: Chen, Lizhang, et al.
Pubblicazione: (2023)

$ϕ$-Balancing for Mixture-of-Experts Training
di: Chen, Lizhang, et al.
Pubblicazione: (2026)

Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints
di: Xie, Shengping, et al.
Pubblicazione: (2026)

Cautious Weight Decay
di: Chen, Lizhang, et al.
Pubblicazione: (2025)

LiMuon: Light and Fast Muon Optimizer for Large Models
di: Huang, Feihu, et al.
Pubblicazione: (2025)

Implicit Bias of Spectral Descent and Muon on Multiclass Separable Data
di: Fan, Chen, et al.
Pubblicazione: (2025)

Preconditioning Benefits of Spectral Orthogonalization in Muon
di: Ma, Jianhao, et al.
Pubblicazione: (2026)

MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models
di: Huang, Feihu, et al.
Pubblicazione: (2026)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
di: Nagashima, Shuntaro, et al.
Pubblicazione: (2026)

Muon Dynamics as a Spectral Wasserstein Flow
di: Peyré, Gabriel
Pubblicazione: (2026)

The Newton-Muon Optimizer
di: Du, Zhehang, et al.
Pubblicazione: (2026)

Lions and Muons: Optimization via Stochastic Frank-Wolfe
di: Sfyraki, Maria-Eleni, et al.
Pubblicazione: (2025)

Phases of Muon: When Muon Eclipses SignSGD
di: Paquette, Elliot, et al.
Pubblicazione: (2026)

Old Optimizer, New Norm: An Anthology
di: Bernstein, Jeremy, et al.
Pubblicazione: (2024)

MuonBP: Faster Muon via Block-Periodic Orthogonalization
di: Khaled, Ahmed, et al.
Pubblicazione: (2025)

On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
di: Xu, Ruihan, et al.
Pubblicazione: (2026)

Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization
di: Xie, Shuo, et al.
Pubblicazione: (2024)

Towards a Principled Muon under $μ\mathsf{P}$: Ensuring Spectral Conditions throughout Training
di: Zhao, John
Pubblicazione: (2026)

FedMuon: Federated Learning with Bias-corrected LMO-based Optimization
di: Takezawa, Yuki, et al.
Pubblicazione: (2025)

Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
di: Yukhimchuk, Alexander, et al.
Pubblicazione: (2026)

Small Gradient Norm Regret for Online Convex Optimization
di: Gao, Wenzhi, et al.
Pubblicazione: (2026)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
di: Petrov, Egor, et al.
Pubblicazione: (2025)

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
di: He, Chuan, et al.
Pubblicazione: (2025)

Error Feedback for Muon and Friends
di: Gruntkowska, Kaja, et al.
Pubblicazione: (2025)

Convergence of Muon with Newton-Schulz
di: Kim, Gyu Yeol, et al.
Pubblicazione: (2026)

A Support-Set Algorithm for Optimization Problems with Nonnegative and Orthogonal Constraints
di: Wang, Lei, et al.
Pubblicazione: (2025)

AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates
di: Zhang, Minxin, et al.
Pubblicazione: (2025)

The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
di: Kravatskiy, Alexey, et al.
Pubblicazione: (2025)

A Re-solving Heuristic for Dynamic Assortment Optimization with Knapsack Constraints
di: Chen, Xi, et al.
Pubblicazione: (2024)

Insights on Muon from Simple Quadratics
di: Gonon, Antoine, et al.
Pubblicazione: (2026)

Muon in Associative Memory Learning: Training Dynamics and Scaling Laws
di: Li, Binghui, et al.
Pubblicazione: (2026)

Convergence of Spectral Descent for Non-smooth Optimization
di: Yang, Yixuan, et al.
Pubblicazione: (2026)

Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs)
di: Riabinin, Artem, et al.
Pubblicazione: (2025)

Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise
di: Zhang, Jiayu, et al.
Pubblicazione: (2026)

Muon is Provably Faster with Momentum Variance Reduction
di: Qian, Xun, et al.
Pubblicazione: (2025)

Drop-Muon: Update Less, Converge Faster
di: Gruntkowska, Kaja, et al.
Pubblicazione: (2025)

Beyond the Ideal: Analyzing the Inexact Muon Update
di: Shulgin, Egor, et al.
Pubblicazione: (2025)

Muon Does Not Converge on Convex Lipschitz Functions
di: Parshakova, Tetiana, et al.
Pubblicazione: (2026)

Optimizer-Induced Mode Connectivity: From AdamW to Muon
di: Zhang, Fangzhao, et al.
Pubblicazione: (2026)

Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints
di: Sun, Youbang, et al.
Pubblicazione: (2024)