Buchumschlag

Exact Mean Square Linear Stability Analysis for SGD

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mulayoff, Rotem, Michaeli, Tomer
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Hierarchical Uncertainty Exploration via Feedforward Posterior Trees
von: Nehme, Elias, et al.
Veröffentlicht: (2024)

On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials
von: Mulayoff, Rotem, et al.
Veröffentlicht: (2026)

The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank
von: Bar, Amitay, et al.
Veröffentlicht: (2024)

Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models
von: Haas, René, et al.
Veröffentlicht: (2023)

LoRA vs. Full Fine-Tuning: A Theoretical Perspective
von: Zindari, Ali, et al.
Veröffentlicht: (2026)

Learning When to Adapt
von: Zindari, Ali, et al.
Veröffentlicht: (2026)

Coherence Awareness in Diffractive Neural Networks
von: Kleiner, Matan, et al.
Veröffentlicht: (2024)

Illumination Angular Spectrum Encoding for Controlling the Functionality of Diffractive Networks
von: Kleiner, Matan, et al.
Veröffentlicht: (2026)

On the Posterior Distribution in Denoising: Application to Uncertainty Quantification
von: Manor, Hila, et al.
Veröffentlicht: (2023)

Zero-Shot Unsupervised and Text-Based Audio Editing Using DDPM Inversion
von: Manor, Hila, et al.
Veröffentlicht: (2024)

Joint auto-encoders: a flexible multi-task learning framework
von: Epstein, Baruch, et al.
Veröffentlicht: (2017)

Classification Diffusion Models: Revitalizing Density Ratio Estimation
von: Yadin, Shahar, et al.
Veröffentlicht: (2024)

From Continual Learning to SGD and Back: Better Rates for Continual Linear Models
von: Evron, Itay, et al.
Veröffentlicht: (2025)

FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing
von: Ronai, Or, et al.
Veröffentlicht: (2025)

Minibatch and Local SGD: Algorithmic Stability and Linear Speedup in Generalization
von: Lei, Yunwen, et al.
Veröffentlicht: (2023)

An Edit Friendly DDPM Noise Space: Inversion and Manipulations
von: Huberman-Spiegelglas, Inbar, et al.
Veröffentlicht: (2023)

Adaptive Compressed Sensing with Diffusion-Based Posterior Sampling
von: Elata, Noam, et al.
Veröffentlicht: (2024)

Improving Implicit Regularization of SGD with Preconditioning for Least Square Problems
von: Su, Junwei, et al.
Veröffentlicht: (2024)

SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network
von: Galanti, Tomer, et al.
Veröffentlicht: (2022)

The Perception-Robustness Tradeoff in Deterministic Image Restoration
von: Ohayon, Guy, et al.
Veröffentlicht: (2023)

Perceptual Fairness in Image Restoration
von: Ohayon, Guy, et al.
Veröffentlicht: (2024)

Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
von: Attia, Amit, et al.
Veröffentlicht: (2025)

Stability and Generalization for Decentralized Markov SGD
von: Wang, Jiahuan, et al.
Veröffentlicht: (2026)

A Simplified Analysis of SGD for Linear Regression with Weight Averaging
von: Meterez, Alexandru, et al.
Veröffentlicht: (2025)

Data Deletion for Linear Regression with Noisy SGD
von: Xia, Zhangjie, et al.
Veröffentlicht: (2024)

FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models
von: Kulikov, Vladimir, et al.
Veröffentlicht: (2024)

When Diffusion Models Memorize: Inductive Biases in Probability Flow of Minimum-Norm Shallow Neural Nets
von: Zeno, Chen, et al.
Veröffentlicht: (2025)

From Posterior Sampling to Meaningful Diversity in Image Restoration
von: Cohen, Noa, et al.
Veröffentlicht: (2023)

GSURE-Based Diffusion Model Training with Corrupted Data
von: Kawar, Bahjat, et al.
Veröffentlicht: (2023)

Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model
von: Xu, Yizhou, et al.
Veröffentlicht: (2026)

Reasons for the Superiority of Stochastic Estimators over Deterministic Ones: Robustness, Consistency and Perceptual Quality
von: Ohayon, Guy, et al.
Veröffentlicht: (2022)

Bootstrap SGD: Algorithmic Stability and Robustness
von: Christmann, Andreas, et al.
Veröffentlicht: (2024)

Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
von: Andreyev, Arseniy, et al.
Veröffentlicht: (2024)

Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
von: Bars, Batiste Le, et al.
Veröffentlicht: (2023)

MineTheGap: Automatic Mining of Biases in Text-to-Image Models
von: Cohen, Noa, et al.
Veröffentlicht: (2025)

Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)

Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects
von: Xiao, Ke Liang, et al.
Veröffentlicht: (2024)

Accelerating Single-Pass SGD for Generalized Linear Prediction
von: Chen, Qian, et al.
Veröffentlicht: (2026)

A Unified Stability Analysis of SAM vs SGD: Role of Data Coherence and Emergence of Simplicity Bias
von: Chang, Wei-Kai, et al.
Veröffentlicht: (2025)

From Privacy to Generalization: Linear Max-Information Bounds for DP-SGD
von: Lampert, Christoph H., et al.
Veröffentlicht: (2026)