Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Prokhorov, Boris, Chebykin, Semyon, Gasnikov, Alexander, Beznosikov, Aleksandr |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2026
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)
Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)
Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)
Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)
Accelerated Stochastic Gradient Method with Applications to Consensus Problem in Markov-Varying Networks
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)
Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)
Method with Batching for Stochastic Finite-Sum Variational Inequalities in Non-Euclidean Setting
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)
Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)
Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting
von: Ustimenko, Aleksei, et al.
Veröffentlicht: (2023)
von: Ustimenko, Aleksei, et al.
Veröffentlicht: (2023)
Stochastic Frank-Wolfe: Unified Analysis and Zoo of Special Cases
von: Nazykov, Ruslan, et al.
Veröffentlicht: (2024)
von: Nazykov, Ruslan, et al.
Veröffentlicht: (2024)
Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)
Methods for Optimization Problems with Markovian Stochasticity and Non-Euclidean Geometry
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
Hierarchical Mixture-of-Experts with Two-Stage Optimization
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)
Methods for Solving Variational Inequalities with Markovian Stochasticity
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)
Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)
Extragradient Sliding for Composite Non-Monotone Variational Inequalities
von: Emelyanov, Roman, et al.
Veröffentlicht: (2024)
von: Emelyanov, Roman, et al.
Veröffentlicht: (2024)
Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)
Accelerated Methods with Compression for Horizontal and Vertical Federated Learning
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)
WeightLoRA: Keep Only Necessary Adapters
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)
Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)
Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)
Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2025)
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2025)
Power of Generalized Smoothness in Stochastic Convex Optimization: First- and Zero-Order Algorithms
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2025)
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2025)
Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)
Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)
Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)
Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)
Stochastic-Constrained Stochastic Optimization with Markovian Data
von: Kim, Yeongjong, et al.
Veröffentlicht: (2023)
von: Kim, Yeongjong, et al.
Veröffentlicht: (2023)
Accelerated Methods with Complexity Separation Under Data Similarity for Federated Learning Problems
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2026)
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2026)
Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling
von: Parfenov, Valery, et al.
Veröffentlicht: (2026)
von: Parfenov, Valery, et al.
Veröffentlicht: (2026)
One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)
Ähnliche Einträge
-
First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023) -
Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024) -
Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024) -
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024) -
Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)