Buchumschlag

Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sadchikov, Andrey, Chezhegov, Savelii, Beznosikov, Aleksandr, Gasnikov, Alexander
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Accelerated Stochastic Gradient Method with Applications to Consensus Problem in Markov-Varying Networks
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Decentralized Finite-Sum Optimization over Time-Varying Networks
von: Metelev, Dmitry, et al.
Veröffentlicht: (2024)

Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement
von: Trifonov, Stepan, et al.
Veröffentlicht: (2025)

Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2025)

Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem under "Overparametrization" Condition
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
von: Khah, Saleh Vatan, et al.
Veröffentlicht: (2025)

Extragradient Sliding for Composite Non-Monotone Variational Inequalities
von: Emelyanov, Roman, et al.
Veröffentlicht: (2024)

Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Local Methods with Adaptivity via Scaling
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Accelerated Methods with Compression for Horizontal and Vertical Federated Learning
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

New Aspects of Black Box Conditional Gradient: Variance Reduction and One Point Feedback
von: Veprikov, Andrey, et al.
Veröffentlicht: (2024)

Method with Batching for Stochastic Finite-Sum Variational Inequalities in Non-Euclidean Setting
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)

Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
von: Prokhorov, Boris, et al.
Veröffentlicht: (2026)

First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Stochastic Frank-Wolfe: Unified Analysis and Zoo of Special Cases
von: Nazykov, Ruslan, et al.
Veröffentlicht: (2024)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

About some works of Boris Polyak on convergence of gradient methods and their development
von: Ablaev, Seydamet, et al.
Veröffentlicht: (2023)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Acceleration Exists! Optimization Problems When Oracle Can Only Compare Objective Function Values
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

The Black-Box Optimization Problem: Zero-Order Accelerated Stochastic Method via Kernel Approximation
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

Randomized gradient-free methods in convex optimization
von: Gasnikov, Alexander, et al.
Veröffentlicht: (2022)

Power of Generalized Smoothness in Stochastic Convex Optimization: First- and Zero-Order Algorithms
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2025)

Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)

Efficient Digital Quadratic Unconstrained Binary Optimization Solvers for SAT Problems
von: Fong, Robert Simon, et al.
Veröffentlicht: (2024)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

Methods for Optimization Problems with Markovian Stochasticity and Non-Euclidean Geometry
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Accelerated zero-order SGD under high-order smoothness and overparameterized regime
von: Bychkov, Georgii, et al.
Veröffentlicht: (2024)

Improved Iteration Complexity in Black-Box Optimization Problems under Higher Order Smoothness Function Condition
von: Lobanov, Aleksandr
Veröffentlicht: (2024)

Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)

WeightLoRA: Keep Only Necessary Adapters
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)