Buchumschlag

Stochastic Gradient Methods with Preconditioned Updates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sadiev, Abdurakhmon, Beznosikov, Aleksandr, Almansoori, Abdulla Jasem, Kamzolov, Dmitry, Tappenden, Rachael, Takáč, Martin
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

A Unified Theory of Stochastic Proximal Point Methods without Smoothness
von: Richtárik, Peter, et al.
Veröffentlicht: (2024)

Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms
von: Abdukhakimov, Farshed, et al.
Veröffentlicht: (2023)

Adaptive Regularized Newton Method with Inexact Hessian
von: Shestakov, Aleksandr, et al.
Veröffentlicht: (2025)

$ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning
von: Ziu, Klea, et al.
Veröffentlicht: (2024)

Better LMO-based Momentum Methods with Second-Order Information
von: Khirirat, Sarit, et al.
Veröffentlicht: (2025)

Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning
von: Karagulyan, Avetik, et al.
Veröffentlicht: (2024)

Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update
von: Almansoori, Abdulla Jasem, et al.
Veröffentlicht: (2025)

Differentially Private Random Block Coordinate Descent
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2024)

Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)

Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
von: Prokhorov, Boris, et al.
Veröffentlicht: (2026)

AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
von: Ostroukhov, Petr, et al.
Veröffentlicht: (2024)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Stochastic Proximal Point Methods for Monotone Inclusions under Expected Similarity
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2024)

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
von: Sokolov, Igor, et al.
Veröffentlicht: (2025)

Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC
von: Almansoori, Abdulla Jasem, et al.
Veröffentlicht: (2026)

Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2025)

OPTAMI: Global Superlinear Convergence of High-order Methods
von: Kamzolov, Dmitry, et al.
Veröffentlicht: (2024)

Improved Convergence in Parameter-Agnostic Error Feedback through Momentum
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

Accelerated Methods with Complexity Separation Under Data Similarity for Federated Learning Problems
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2026)

Collaborative and Efficient Personalization with Mixtures of Adaptors
von: Almansoori, Abdulla Jasem, et al.
Veröffentlicht: (2024)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

Cubic Regularized Newton Method with Variance Reduction for Finite-sum Non-convex Problems
von: Pasechnyuk-Vilensky, Dmitry, et al.
Veröffentlicht: (2025)

Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting
von: Ustimenko, Aleksei, et al.
Veröffentlicht: (2023)

Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
von: Köhne, Frederik, et al.
Veröffentlicht: (2023)

Local Methods with Adaptivity via Scaling
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Bant: Byzantine Antidote via Trial Function and Trust Scores
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2025)

On a Family of Relaxed Gradient Descent Methods for Quadratic Minimization
von: MacDonald, Liam, et al.
Veröffentlicht: (2024)

PaDPaF: Partial Disentanglement with Partially-Federated GANs
von: Almansoori, Abdulla Jasem, et al.
Veröffentlicht: (2022)

Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
von: Fradin, Adrien, et al.
Veröffentlicht: (2025)