Buchumschlag

ADMM Algorithms for Residual Network Training: Convergence Analysis and Parallel Implementation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Jintao, Li, Yifei, Xing, Wenxun
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation
von: Kong, Deyi, et al.
Veröffentlicht: (2026)

Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
von: Lin, Junan, et al.
Veröffentlicht: (2026)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Joint Cooperative and Non-Cooperative Localization in WSNs with Distributed Scaled Proximal ADMM Algorithms
von: Zhu, Qiaojia, et al.
Veröffentlicht: (2025)

The ADMM-PINNs Algorithmic Framework for Nonsmooth PDE-Constrained Optimization: A Deep Learning Approach
von: Song, Yongcun, et al.
Veröffentlicht: (2023)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
von: Zhu, Shuailong, et al.
Veröffentlicht: (2025)

Federated ADMM from Bayesian Duality
von: Möllenhoff, Thomas, et al.
Veröffentlicht: (2025)

A General Continuous-Time Formulation of Stochastic ADMM and Its Variants
von: Li, Chris Junchi
Veröffentlicht: (2024)

A Short and Unified Convergence Analysis of the SAG, SAGA, and IAG Algorithms
von: Zhu, Feng, et al.
Veröffentlicht: (2026)

Distributed Event-Based Learning via ADMM
von: Er, Guner Dilsad, et al.
Veröffentlicht: (2024)

Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
von: Hao, Jie, et al.
Veröffentlicht: (2024)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
von: Lau, Tim Tsz-Kit, et al.
Veröffentlicht: (2024)

Convergence Rate Analysis of LION
von: Dong, Yiming, et al.
Veröffentlicht: (2024)

Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

Residual-Evasive Attacks on ADMM in Distributed Optimization
von: Bruckmeier, Sabrina, et al.
Veröffentlicht: (2025)

Weak Convergence Analysis of Online Neural Actor-Critic Algorithms
von: Lam, Samuel Chun-Hei, et al.
Veröffentlicht: (2024)

Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
von: Tanguy, Eloi
Veröffentlicht: (2023)

Learning to accelerate distributed ADMM using graph neural networks
von: Doerks, Henri, et al.
Veröffentlicht: (2025)

Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms
von: Li, Yuchen, et al.
Veröffentlicht: (2024)

A Riemannian ADMM
von: Li, Jiaxiang, et al.
Veröffentlicht: (2022)

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Q-Measure-Learning for Continuous State RL: Efficient Implementation and Convergence
von: Wang, Shengbo
Veröffentlicht: (2026)

A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
von: Xu, Guixian, et al.
Veröffentlicht: (2026)

HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization
von: Tran, Trinh, et al.
Veröffentlicht: (2026)

CoCoA Is ADMM: Unifying Two Paradigms in Distributed Optimization
von: Wu, Runxiong, et al.
Veröffentlicht: (2025)

Towards Guided Descent: Optimization Algorithms for Training Neural Networks At Scale
von: Nagwekar, Ansh
Veröffentlicht: (2025)

Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
von: Vaidyan, Kevin Kurian Thomas, et al.
Veröffentlicht: (2026)

ADMM-Based Training for Spiking Neural Networks
von: Perin, Giovanni, et al.
Veröffentlicht: (2025)

Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator
von: Guo, Zhishuai, et al.
Veröffentlicht: (2021)

The Ball-Proximal (="Broximal") Point Method: a New Algorithm, Convergence Theory, and Applications
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

ADMM for Structured Fractional Minimization
von: Yuan, Ganzhao
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

A Systems-Theoretic View on the Convergence of Algorithms under Disturbances
von: Er, Guner Dilsad, et al.
Veröffentlicht: (2025)

Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
von: Iommazzo, Gabriele, et al.
Veröffentlicht: (2025)

Linearly Convergent Algorithms for Nonsmooth Problems with Unknown Smooth Pieces
von: Zhang, Zhe, et al.
Veröffentlicht: (2025)

Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime
von: Oberweis, Noah, et al.
Veröffentlicht: (2025)

A Provably Convergent and Practical Algorithm for Gromov--Wasserstein Optimal Transport
von: Liang, Ling, et al.
Veröffentlicht: (2026)