Buchumschlag

Federated Learning Can Find Friends That Are Advantageous

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tupitsa, Nazarii, Horváth, Samuel, Takáč, Martin, Gorbunov, Eduard
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Remove that Square Root: A New Efficient Scale-Invariant Version of AdaGrad
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2024)

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2024)

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
von: Demidovich, Yury, et al.
Veröffentlicht: (2024)

CaCuTe: Casual Cubic-Model Technique for Faster Optimization
von: Tupitsa, Nazarii
Veröffentlicht: (2025)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Low-Resource Machine Translation through the Lens of Personalized Federated Learning
von: Moskvoretskii, Viktor, et al.
Veröffentlicht: (2024)

Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences
von: Malinovsky, Grigory, et al.
Veröffentlicht: (2023)

Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
von: Khah, Saleh Vatan, et al.
Veröffentlicht: (2025)

LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
von: Tastan, Nurbek, et al.
Veröffentlicht: (2025)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Revisiting LocalSGD and SCAFFOLD: Improved Rates and Missing Analysis
von: Luo, Ruichen, et al.
Veröffentlicht: (2025)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)

EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2021)

Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)

Byzantine-Robust Optimization under $(L_0, L_1)$-Smoothness
von: Bolatov, Arman, et al.
Veröffentlicht: (2026)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
von: Yukhimchuk, Alexander, et al.
Veröffentlicht: (2026)

Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates
von: Rammal, Ahmad, et al.
Veröffentlicht: (2023)

$ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning
von: Ziu, Klea, et al.
Veröffentlicht: (2024)

Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)

SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms
von: Abdukhakimov, Farshed, et al.
Veröffentlicht: (2023)

Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2026)

Stochastic Optimization and Data Science
von: Avetisyan, Arutyun, et al.
Veröffentlicht: (2026)

Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)

Decentralized Personalized Federated Learning
von: Kharrat, Salma, et al.
Veröffentlicht: (2024)

AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
von: Ostroukhov, Petr, et al.
Veröffentlicht: (2024)

Action Gaps and Advantages in Continuous-Time Distributional Reinforcement Learning
von: Wiltzer, Harley, et al.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
von: Puchkin, Nikita, et al.
Veröffentlicht: (2023)

Loss-Transformation Invariance in the Damped Newton Method
von: Shestakov, Alexander, et al.
Veröffentlicht: (2025)

Error Feedback for Muon and Friends
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Bant: Byzantine Antidote via Trial Function and Trust Scores
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2025)

On Biased Compression for Distributed Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)