Buchumschlag

When is Momentum Extragradient Optimal? A Polynomial-Based Analysis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Junhyung Lyle, Gidel, Gauthier, Kyrillidis, Anastasios, Pedregosa, Fabian
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On the Error-Propagation of Inexact Hotelling's Deflation for Principal Component Analysis
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

A Catalyst Framework for the Quantum Linear System Problem via the Proximal Point Algorithm
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2024)

Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

Solving Hidden Monotone Variational Inequalities with Surrogate Losses
von: D'Orazio, Ryan, et al.
Veröffentlicht: (2024)

Adaptive Federated Learning with Auto-Tuned Clients
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2023)

Dimension-adapted Momentum Outscales SGD
von: Ferbach, Damien, et al.
Veröffentlicht: (2025)

Logarithmic-time Schedules for Scaling Language Models with Momentum
von: Ferbach, Damien, et al.
Veröffentlicht: (2026)

Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Unveiling Hidden Pivotal Players with GoalNet: A GNN-Based Soccer Player Evaluation System
von: Jiang, Jacky Hao, et al.
Veröffentlicht: (2025)

Omega: Optimistic EMA Gradients
von: Ramirez, Juan, et al.
Veröffentlicht: (2023)

Two-timescale Extragradient for Finding Local Minimax Points
von: Chae, Jiseok, et al.
Veröffentlicht: (2023)

One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
von: Shen, Jucheng, et al.
Veröffentlicht: (2026)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
von: Liao, Fangshuo, et al.
Veröffentlicht: (2026)

Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

One Rank at a Time: Cascading Error Dynamics in Sequential Learning
von: Vandchali, Mahtab Alizadeh, et al.
Veröffentlicht: (2025)

Stochastic Extragradient with Flip-Flop Shuffling & Anchoring: Provable Improvements
von: Chae, Jiseok, et al.
Veröffentlicht: (2024)

On the Interplay Between Stepsize Tuning and Progressive Sharpening
von: Roulet, Vincent, et al.
Veröffentlicht: (2023)

Stochastic Newton Proximal Extragradient Method
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

TwIST: Rigging the Lottery in Transformers with Independent Subnetwork Training
von: Menezes, Michael, et al.
Veröffentlicht: (2025)

Extragradient Type Methods for Riemannian Variational Inequality Problems
von: Hu, Zihao, et al.
Veröffentlicht: (2023)

Low-Rank Extragradient Methods for Scalable Semidefinite Optimization
von: Garber, Dan, et al.
Veröffentlicht: (2024)

Quantum EigenGame for excited state calculation
von: Quiroga, David, et al.
Veröffentlicht: (2025)

Low-Rank Extragradient Method for Nonsmooth and Low-Rank Matrix Optimization Problems
von: Garber, Dan, et al.
Veröffentlicht: (2022)

Extragradient Method for $(L_0, L_1)$-Lipschitz Root-finding Problems
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2025)

Parameter-Free Non-Ergodic Extragradient Algorithms for Solving Monotone Variational Inequalities
von: Shen, Lingqing, et al.
Veröffentlicht: (2026)

Convergence Analysis of Two-Layer Neural Networks under Gaussian Input Masking
von: Kolomvaki, Afroditi, et al.
Veröffentlicht: (2026)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

Anytime Training with Schedule-Free Spectral Optimization
von: Apte, Anuj, et al.
Veröffentlicht: (2026)

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks
von: Papazov, Hristo, et al.
Veröffentlicht: (2024)

Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods
von: Li, Gen, et al.
Veröffentlicht: (2023)

Exploiting Low-Rank Structure in Max-K-Cut Problems
von: Stevens, Ria, et al.
Veröffentlicht: (2026)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Improved Analysis for Sign-based Methods with Momentum Updates
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

Thinking Out of the Box: Hybrid SAT Solving by Unconstrained Continuous Optimization
von: Zhang, Zhiwei, et al.
Veröffentlicht: (2025)

Stochastic Extragradient with Random Reshuffling: Improved Convergence for Variational Inequalities
von: Emmanouilidis, Konstantinos, et al.
Veröffentlicht: (2024)

Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum
von: Cai, Haoyuan, et al.
Veröffentlicht: (2024)

Neighbor-Sampling Based Momentum Stochastic Methods for Training Graph Neural Networks
von: Noel, Molly, et al.
Veröffentlicht: (2025)

Using non-convex optimization in quantum process tomography: Factored gradient descent is tough to beat
von: Quiroga, David A., et al.
Veröffentlicht: (2023)

RecCrysFormer: Refined Protein Structural Prediction from 3D Patterson Maps via Recycling Training Runs
von: Pan, Tom, et al.
Veröffentlicht: (2025)