High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Gorbunov, Eduard, Sadiev, Abdurakhmon, Danilova, Marina, Horváth, Samuel, Gidel, Gauthier, Dvurechensky, Pavel, Gasnikov, Alexander, Richtárik, Peter |
|---|---|
| Format: | Preprint |
| Publié: |
2023
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
par: Gorbunov, Eduard, et autres
Publié: (2021)
par: Gorbunov, Eduard, et autres
Publié: (2021)
Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
par: Fradin, Adrien, et autres
Publié: (2025)
par: Fradin, Adrien, et autres
Publié: (2025)
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
par: Sadiev, Abdurakhmon, et autres
Publié: (2025)
par: Sadiev, Abdurakhmon, et autres
Publié: (2025)
Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
par: Puchkin, Nikita, et autres
Publié: (2023)
par: Puchkin, Nikita, et autres
Publié: (2023)
Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum
par: Khirirat, Sarit, et autres
Publié: (2024)
par: Khirirat, Sarit, et autres
Publié: (2024)
Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
par: Chezhegov, Savelii, et autres
Publié: (2025)
par: Chezhegov, Savelii, et autres
Publié: (2025)
Stochastic Proximal Point Methods for Monotone Inclusions under Expected Similarity
par: Sadiev, Abdurakhmon, et autres
Publié: (2024)
par: Sadiev, Abdurakhmon, et autres
Publié: (2024)
A Unified Theory of Stochastic Proximal Point Methods without Smoothness
par: Richtárik, Peter, et autres
Publié: (2024)
par: Richtárik, Peter, et autres
Publié: (2024)
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
par: Chezhegov, Savelii, et autres
Publié: (2024)
par: Chezhegov, Savelii, et autres
Publié: (2024)
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
par: Sadiev, Abdurakhmon, et autres
Publié: (2026)
par: Sadiev, Abdurakhmon, et autres
Publié: (2026)
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
par: Sadiev, Abdurakhmon, et autres
Publié: (2026)
par: Sadiev, Abdurakhmon, et autres
Publié: (2026)
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
par: Condat, Laurent, et autres
Publié: (2026)
par: Condat, Laurent, et autres
Publié: (2026)
Differentially Private Random Block Coordinate Descent
par: Maranjyan, Artavazd, et autres
Publié: (2024)
par: Maranjyan, Artavazd, et autres
Publié: (2024)
SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning
par: Karagulyan, Avetik, et autres
Publié: (2024)
par: Karagulyan, Avetik, et autres
Publié: (2024)
Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences
par: Malinovsky, Grigory, et autres
Publié: (2023)
par: Malinovsky, Grigory, et autres
Publié: (2023)
Better LMO-based Momentum Methods with Second-Order Information
par: Khirirat, Sarit, et autres
Publié: (2025)
par: Khirirat, Sarit, et autres
Publié: (2025)
Randomized gradient-free methods in convex optimization
par: Gasnikov, Alexander, et autres
Publié: (2022)
par: Gasnikov, Alexander, et autres
Publié: (2022)
Improved Convergence in Parameter-Agnostic Error Feedback through Momentum
par: Sadiev, Abdurakhmon, et autres
Publié: (2025)
par: Sadiev, Abdurakhmon, et autres
Publié: (2025)
Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
par: Khah, Saleh Vatan, et autres
Publié: (2025)
par: Khah, Saleh Vatan, et autres
Publié: (2025)
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
par: Islamov, Rustem, et autres
Publié: (2025)
par: Islamov, Rustem, et autres
Publié: (2025)
Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
par: Sokolov, Igor, et autres
Publié: (2025)
par: Sokolov, Igor, et autres
Publié: (2025)
Distributed Stochastic Optimization under Heavy-Tailed Noise: A Federated Mirror Descent Approach with High Probability Convergence
par: Yu, Zhan, et autres
Publié: (2025)
par: Yu, Zhan, et autres
Publié: (2025)
Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
par: Lobanov, Aleksandr, et autres
Publié: (2024)
par: Lobanov, Aleksandr, et autres
Publié: (2024)
Stochastic Frank-Wolfe: Unified Analysis and Zoo of Special Cases
par: Nazykov, Ruslan, et autres
Publié: (2024)
par: Nazykov, Ruslan, et autres
Publié: (2024)
High Probability Bounds for Stochastic Subgradient Schemes with Heavy Tailed Noise
par: Parletta, Daniela A., et autres
Publié: (2022)
par: Parletta, Daniela A., et autres
Publié: (2022)
High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
par: Yang, Yuchen, et autres
Publié: (2025)
par: Yang, Yuchen, et autres
Publié: (2025)
Distributed Stochastic Optimization under Heavy-Tailed Noises
par: Sun, Chao, et autres
Publié: (2023)
par: Sun, Chao, et autres
Publié: (2023)
In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
par: Liu, Zijian
Publié: (2026)
par: Liu, Zijian
Publié: (2026)
Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
par: Gorbunov, Eduard, et autres
Publié: (2024)
par: Gorbunov, Eduard, et autres
Publié: (2024)
Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
par: Demidovich, Yury, et autres
Publié: (2024)
par: Demidovich, Yury, et autres
Publié: (2024)
First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
par: Beznosikov, Aleksandr, et autres
Publié: (2023)
par: Beznosikov, Aleksandr, et autres
Publié: (2023)
Decentralized Personalized Federated Learning for Min-Max Problems
par: Borodich, Ekaterina, et autres
Publié: (2021)
par: Borodich, Ekaterina, et autres
Publié: (2021)
Phase-Type Variational Autoencoders for Heavy-Tailed Data
par: Ziani, Abdelhakim, et autres
Publié: (2026)
par: Ziani, Abdelhakim, et autres
Publié: (2026)
Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
par: Agafonov, Artem, et autres
Publié: (2024)
par: Agafonov, Artem, et autres
Publié: (2024)
Decentralized Distributed Optimization for Saddle Point Problems
par: Rogozin, Alexander, et autres
Publié: (2021)
par: Rogozin, Alexander, et autres
Publié: (2021)
Median Clipping for Zeroth-order Non-Smooth Convex Optimization and Multi-Armed Bandit Problem with Heavy-tailed Symmetric Noise
par: Kornilov, Nikita, et autres
Publié: (2024)
par: Kornilov, Nikita, et autres
Publié: (2024)
Decentralised convex optimisation with probability-proportional-to-size quantization
par: Pasechniuk, Dmitrii, et autres
Publié: (2025)
par: Pasechniuk, Dmitrii, et autres
Publié: (2025)
Federated Learning Can Find Friends That Are Advantageous
par: Tupitsa, Nazarii, et autres
Publié: (2024)
par: Tupitsa, Nazarii, et autres
Publié: (2024)
Byzantine-Robust Optimization under $(L_0, L_1)$-Smoothness
par: Bolatov, Arman, et autres
Publié: (2026)
par: Bolatov, Arman, et autres
Publié: (2026)
Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
par: Kornilov, Nikita, et autres
Publié: (2025)
par: Kornilov, Nikita, et autres
Publié: (2025)
Documents similaires
-
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
par: Gorbunov, Eduard, et autres
Publié: (2021) -
Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
par: Fradin, Adrien, et autres
Publié: (2025) -
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
par: Sadiev, Abdurakhmon, et autres
Publié: (2025) -
Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
par: Puchkin, Nikita, et autres
Publié: (2023) -
Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum
par: Khirirat, Sarit, et autres
Publié: (2024)