Buchumschlag

Improving Implicit Regularization of SGD with Preconditioning for Least Square Problems

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Su, Junwei, Zou, Difan, Wu, Chuan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks
von: Su, Junwei, et al.
Veröffentlicht: (2024)

On the Limitation and Experience Replay for GNNs in Continual Learning
von: Su, Junwei, et al.
Veröffentlicht: (2023)

Towards Robust Graph Incremental Learning on Evolving Graphs
von: Su, Junwei, et al.
Veröffentlicht: (2024)

Learning under Quantization for High-Dimensional Linear Regression
von: Zhang, Dechen, et al.
Veröffentlicht: (2025)

The Implicit Bias of Adam on Separable Data
von: Zhang, Chenyang, et al.
Veröffentlicht: (2024)

SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems
von: Chang, Zhipeng, et al.
Veröffentlicht: (2026)

The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
von: Li, Jichu, et al.
Veröffentlicht: (2026)

A Hybrid Federated Kernel Regularized Least Squares Algorithm
von: Damiani, Celeste, et al.
Veröffentlicht: (2024)

On the Topology Awareness and Generalization Performance of Graph Neural Networks
von: Su, Junwei, et al.
Veröffentlicht: (2024)

On the Interplay between Graph Structure and Learning Algorithms in Graph Neural Networks
von: Su, Junwei, et al.
Veröffentlicht: (2025)

A Non-Asymptotic Convergent Analysis for Scored-Based Graph Generative Model via a System of Stochastic Differential Equations
von: Su, Junwei, et al.
Veröffentlicht: (2025)

Improving Group Robustness on Spurious Correlation Requires Preciser Group Inference
von: Han, Yujin, et al.
Veröffentlicht: (2024)

$\ell_1$-Regularized Generalized Least Squares
von: Nobari, Kaveh S., et al.
Veröffentlicht: (2024)

Importance Weighting Correction of Regularized Least-Squares for Target Shift
von: Gogolashvili, Davit
Veröffentlicht: (2022)

On Regularization via Early Stopping for Least Squares Regression
von: Sonthalia, Rishi, et al.
Veröffentlicht: (2024)

Partitioned Least Squares
von: Esposito, Roberto, et al.
Veröffentlicht: (2020)

When Do Multi-Agent Systems Outperform? Analysing the Learning Efficiency of Agentic Systems
von: Su, Junwei, et al.
Veröffentlicht: (2026)

How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2024)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
von: Li, Zhu, et al.
Veröffentlicht: (2023)

SBGD: Improving Graph Diffusion Generative Model via Stochastic Block Diffusion
von: Su, Junwei, et al.
Veröffentlicht: (2025)

Exact Mean Square Linear Stability Analysis for SGD
von: Mulayoff, Rotem, et al.
Veröffentlicht: (2023)

PLeaS -- Merging Models with Permutations and Least Squares
von: Nasery, Anshul, et al.
Veröffentlicht: (2024)

Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square
von: Li, Jiahong, et al.
Veröffentlicht: (2026)

What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks
von: Chen, Xingwu, et al.
Veröffentlicht: (2024)

Improving Generalization and Convergence by Enhancing Implicit Regularization
von: Wang, Mingze, et al.
Veröffentlicht: (2024)

SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching
von: Labarrière, Hippolyte, et al.
Veröffentlicht: (2026)

Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects
von: Xiao, Ke Liang, et al.
Veröffentlicht: (2024)

On Least Square Estimation in Softmax Gating Mixture of Experts
von: Nguyen, Huy, et al.
Veröffentlicht: (2024)

Communication-Efficient l_0 Penalized Least Square
von: Gong, Chenqi, et al.
Veröffentlicht: (2025)

The Rich and the Simple: On the Implicit Bias of Adam and SGD
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2025)

Ordinary Least Squares as an Attention Mechanism
von: Coulombe, Philippe Goulet
Veröffentlicht: (2025)

BG-HGNN: Toward Efficient Learning for Complex Heterogeneous Graphs
von: Su, Junwei, et al.
Veröffentlicht: (2024)

Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
von: Liu, Mengfan, et al.
Veröffentlicht: (2026)

Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
von: Sander, Tom, et al.
Veröffentlicht: (2024)

Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
von: Vyas, Nikhil, et al.
Veröffentlicht: (2023)

Core-elements Subsampling for Alternating Least Squares
von: Xue, Dunyao, et al.
Veröffentlicht: (2025)

Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
von: Li, Bingcong, et al.
Veröffentlicht: (2024)

Structured Role-Aware Policy Optimization for Multimodal Reasoning
von: Jiang, Bingqing, et al.
Veröffentlicht: (2026)

On the Memorization of Consistency Distillation for Diffusion Models
von: Jiang, Bingqing, et al.
Veröffentlicht: (2026)