Buchumschlag

Error Feedback for Muon and Friends

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gruntkowska, Kaja, Gaponov, Alexander, Tovmasyan, Zhirayr, Richtárik, Peter
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Non-Euclidean Broximal Point Method: A Blueprint for Geometry-Aware Optimization
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Drop-Muon: Update Less, Converge Faster
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs)
von: Riabinin, Artem, et al.
Veröffentlicht: (2025)

Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2024)

Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2026)

Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle
von: Richtárik, Peter, et al.
Veröffentlicht: (2026)

Tighter Performance Theory of FedExProx
von: Anyszka, Wojciech, et al.
Veröffentlicht: (2024)

The Ball-Proximal (="Broximal") Point Method: a New Algorithm, Convergence Theory, and Applications
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Revisiting Stochastic Proximal Point Methods: Generalized Smoothness and Similarity
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2025)

Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates
von: Rammal, Ahmad, et al.
Veröffentlicht: (2023)

Stabilized Proximal Point Method via Trust Region Control
von: Li, Hanmin, et al.
Veröffentlicht: (2026)

Broximal Alignment for Global Non-Convex Optimization
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2026)

Muon is Provably Faster with Momentum Variance Reduction
von: Qian, Xun, et al.
Veröffentlicht: (2025)

Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Beyond the Ideal: Analyzing the Inexact Muon Update
von: Shulgin, Egor, et al.
Veröffentlicht: (2025)

Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2021)

Improved Convergence in Parameter-Agnostic Error Feedback through Momentum
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
von: Tyurin, Alexander, et al.
Veröffentlicht: (2022)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes
von: Sokolov, Igor, et al.
Veröffentlicht: (2024)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

A Unified Theory of Stochastic Proximal Point Methods without Smoothness
von: Richtárik, Peter, et al.
Veröffentlicht: (2024)

BiCoLoR: Communication-Efficient Optimization with Bidirectional Compression and Local Training
von: Condat, Laurent, et al.
Veröffentlicht: (2026)

On the Convergence of DP-SGD with Adaptive Clipping
von: Shulgin, Egor, et al.
Veröffentlicht: (2024)

First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
von: Shulgin, Egor, et al.
Veröffentlicht: (2025)

Better LMO-based Momentum Methods with Second-Order Information
von: Khirirat, Sarit, et al.
Veröffentlicht: (2025)

Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning
von: Meinhardt, Georg, et al.
Veröffentlicht: (2024)

TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation
von: Condat, Laurent, et al.
Veröffentlicht: (2023)

Phases of Muon: When Muon Eclipses SignSGD
von: Paquette, Elliot, et al.
Veröffentlicht: (2026)

MuonBP: Faster Muon via Block-Periodic Orthogonalization
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

LiMuon: Light and Fast Muon Optimizer for Large Models
von: Huang, Feihu, et al.
Veröffentlicht: (2025)

Accelerated Distributed Optimization with Compression and Error Feedback
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Modular Distributed Nonconvex Learning with Error Feedback
von: Carnevale, Guido, et al.
Veröffentlicht: (2025)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Composite Optimization with Error Feedback: the Dual Averaging Approach
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

A Novel Unified Parametric Assumption for Nonconvex Optimization
von: Riabinin, Artem, et al.
Veröffentlicht: (2025)