Buchumschlag

Methods for Optimization Problems with Markovian Stochasticity and Non-Euclidean Geometry

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Solodkin, Vladimir, Veprikov, Andrew, Beznosikov, Aleksandr
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Methods for Solving Variational Inequalities with Markovian Stochasticity
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)

Markovian Compression: Looking to the Past Helps Accelerate the Future
von: Veprikov, Andrey, et al.
Veröffentlicht: (2026)

Accelerated Stochastic Gradient Method with Applications to Consensus Problem in Markov-Varying Networks
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)

WeightLoRA: Keep Only Necessary Adapters
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Stochastic Frank-Wolfe: Unified Analysis and Zoo of Special Cases
von: Nazykov, Ruslan, et al.
Veröffentlicht: (2024)

Method with Batching for Stochastic Finite-Sum Variational Inequalities in Non-Euclidean Setting
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

New Aspects of Black Box Conditional Gradient: Variance Reduction and One Point Feedback
von: Veprikov, Andrey, et al.
Veröffentlicht: (2024)

Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)

Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
von: Prokhorov, Boris, et al.
Veröffentlicht: (2026)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling
von: Parfenov, Valery, et al.
Veröffentlicht: (2026)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
von: Pichugin, Alexander, et al.
Veröffentlicht: (2024)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Effective Method with Compression for Distributed and Federated Cocoercive Variational Inequalities
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)

First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Unified Theory of Adaptive Variance Reduction
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting
von: Ustimenko, Aleksei, et al.
Veröffentlicht: (2023)

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)

Extragradient Sliding for Composite Non-Monotone Variational Inequalities
von: Emelyanov, Roman, et al.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Accelerated Methods with Compression for Horizontal and Vertical Federated Learning
von: Stanko, Sergey, et al.
Veröffentlicht: (2024)

The Black-Box Optimization Problem: Zero-Order Accelerated Stochastic Method via Kernel Approximation
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

Non-Euclidean Broximal Point Method: A Blueprint for Geometry-Aware Optimization
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Accelerated Methods with Complexity Separation Under Data Similarity for Federated Learning Problems
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2026)

Hierarchical Mixture-of-Experts with Two-Stage Optimization
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)

Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement
von: Trifonov, Stepan, et al.
Veröffentlicht: (2025)

Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem under "Overparametrization" Condition
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2023)

Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Stochastic-Constrained Stochastic Optimization with Markovian Data
von: Kim, Yeongjong, et al.
Veröffentlicht: (2023)

One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)