Buchumschlag

Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kornilov, Nikita, Zmushko, Philip, Semenov, Andrei, Ikonnikov, Mark, Gasnikov, Alexander, Beznosikov, Alexander
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)

Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
von: Semenov, Andrei, et al.
Veröffentlicht: (2024)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Median Clipping for Zeroth-order Non-Smooth Convex Optimization and Multi-Armed Bandit Problem with Heavy-tailed Symmetric Noise
von: Kornilov, Nikita, et al.
Veröffentlicht: (2024)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
von: Puchkin, Nikita, et al.
Veröffentlicht: (2023)

Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning
von: Semenov, Andrei, et al.
Veröffentlicht: (2024)

Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
von: Divilkovskiy, Maxim, et al.
Veröffentlicht: (2025)

Optimal Flow Matching: Learning Straight Trajectories in Just One Step
von: Kornilov, Nikita, et al.
Veröffentlicht: (2024)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2024)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

Power of Generalized Smoothness in Stochastic Convex Optimization: First- and Zero-Order Algorithms
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2025)

Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)

Distributed Stochastic Optimization for Non-Smooth and Weakly Convex Problems under Heavy-Tailed Noise
von: Hu, Jun, et al.
Veröffentlicht: (2025)

Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
von: Yu, Dingzhi, et al.
Veröffentlicht: (2026)

Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises
von: Zhu, Tianxi, et al.
Veröffentlicht: (2025)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Extragradient Sliding for Composite Non-Monotone Variational Inequalities
von: Emelyanov, Roman, et al.
Veröffentlicht: (2024)

Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training
von: Zmushko, Philip, et al.
Veröffentlicht: (2024)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

On the Equivalence of Optimal Transport Problem and Action Matching with Optimal Vector Fields
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)

High Probability Bounds for Stochastic Subgradient Schemes with Heavy Tailed Noise
von: Parletta, Daniela A., et al.
Veröffentlicht: (2022)

Method with Batching for Stochastic Finite-Sum Variational Inequalities in Non-Euclidean Setting
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

LionMuon: Alternating Spectral and Sign Descent for Efficient Training
von: Bolatov, Arman, et al.
Veröffentlicht: (2026)

Gradient-Normalized Smoothness for Optimization with Approximate Hessians
von: Semenov, Andrei, et al.
Veröffentlicht: (2025)

Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

SCOPE: Smooth Convex Optimization for Planned Evolution of Deformable Linear Objects
von: Jnadi, Ali, et al.
Veröffentlicht: (2026)

Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)

Accelerated Methods with Compression for Horizontal and Vertical Federated Learning
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)

Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
von: Prokhorov, Boris, et al.
Veröffentlicht: (2026)

One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)

High Probability Complexity Bounds of Trust-Region Stochastic Sequential Quadratic Programming with Heavy-Tailed Noise
von: Fang, Yuchen, et al.
Veröffentlicht: (2025)

Label Privacy in Split Learning for Large Models with Parameter-Efficient Training
von: Zmushko, Philip, et al.
Veröffentlicht: (2024)

Hereditary completeness for systems of exponentials in weighted $L^2$-spaces
von: Semenov, Andrei V.
Veröffentlicht: (2025)