Buchumschlag

Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sander, Tom, Sylvestre, Maxime, Durmus, Alain
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Differentially Private Representation Learning via Image Captioning
von: Sander, Tom, et al.
Veröffentlicht: (2024)

RQP-SGD: Differential Private Machine Learning through Noisy SGD and Randomized Quantization
von: Feng, Ce, et al.
Veröffentlicht: (2024)

Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach
von: Zhang, Xinwei, et al.
Veröffentlicht: (2023)

The Rich and the Simple: On the Implicit Bias of Adam and SGD
von: Vasudeva, Bhavya, et al.
Veröffentlicht: (2025)

Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
von: Vyas, Nikhil, et al.
Veröffentlicht: (2023)

Noise is All You Need: Private Second-Order Convergence of Noisy SGD
von: Avdiukhin, Dmitrii, et al.
Veröffentlicht: (2024)

PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
von: Sha, Haichao, et al.
Veröffentlicht: (2023)

Private and Fair Machine Learning: Revisiting the Disparate Impact of Differentially Private SGD
von: Demelius, Lea, et al.
Veröffentlicht: (2025)

DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling
von: Wei, Jianxin, et al.
Veröffentlicht: (2022)

VITS : Variational Inference Thompson Sampling for contextual bandits
von: Clavier, Pierre, et al.
Veröffentlicht: (2023)

Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training
von: Jain, Anchit, et al.
Veröffentlicht: (2024)

DC-SGD: Differentially Private SGD with Dynamic Clipping through Gradient Norm Distribution Estimation
von: Wei, Chengkun, et al.
Veröffentlicht: (2025)

Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD
von: Wan, Yijun, et al.
Veröffentlicht: (2023)

Data Deletion for Linear Regression with Noisy SGD
von: Xia, Zhangjie, et al.
Veröffentlicht: (2024)

GeoClip: Geometry-Aware Clipping for Differentially Private SGD
von: Gilani, Atefeh, et al.
Veröffentlicht: (2025)

Watermarking Makes Language Models Radioactive
von: Sander, Tom, et al.
Veröffentlicht: (2024)

Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
von: Khah, Saleh Vatan, et al.
Veröffentlicht: (2025)

Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians
von: Huix, Tom, et al.
Veröffentlicht: (2024)

FlashDP: Private Training Large Language Models with Efficient DP-SGD
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD
von: Steinke, Thomas, et al.
Veröffentlicht: (2024)

An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
von: Liang, Hao, et al.
Veröffentlicht: (2025)

Hyperbolic Aware Minimization: Implicit Bias for Sparsity
von: Jacobs, Tom, et al.
Veröffentlicht: (2025)

Algorithm- and Data-Dependent Generalization Bounds for Diffusion Models
von: Dupuis, Benjamin, et al.
Veröffentlicht: (2025)

Differentially Private Adaptation of Diffusion Models via Noisy Aggregated Embeddings
von: Peetathawatchai, Pura, et al.
Veröffentlicht: (2024)

How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks
von: Littwin, Etai, et al.
Veröffentlicht: (2024)

Differential privacy guarantees of Markov chain Monte Carlo algorithms
von: Bertazzi, Andrea, et al.
Veröffentlicht: (2025)

Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
von: Jacobs, Tom, et al.
Veröffentlicht: (2025)

Improving Implicit Regularization of SGD with Preconditioning for Least Square Problems
von: Su, Junwei, et al.
Veröffentlicht: (2024)

On the Performance of Differentially Private Optimization with Heavy-Tail Class Imbalance
von: Tang, Qiaoyue, et al.
Veröffentlicht: (2025)

Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Balancing Utility and Privacy: Dynamically Private SGD with Random Projection
von: Jiang, Zhanhong, et al.
Veröffentlicht: (2025)

Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD
von: Kalinin, Nikita P., et al.
Veröffentlicht: (2025)

Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
von: Chien, Eli, et al.
Veröffentlicht: (2024)

How Private are DP-SGD Implementations?
von: Chua, Lynn, et al.
Veröffentlicht: (2024)

Non-Asymptotic Analysis of Online Local Private Learning with SGD
von: Shi, Enze, et al.
Veröffentlicht: (2025)

Increasing Missingness to Reduce Bias: Richardson-SGD with Missing Data
von: Genans, Ferdinand, et al.
Veröffentlicht: (2026)

AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
von: Zhang, Huiqi, et al.
Veröffentlicht: (2025)

FIBER: A Differentially Private Optimizer with Filter-Aware Innovation Bias Correction
von: Dm, Duc, et al.
Veröffentlicht: (2026)

Differentially Private Training of Mixture of Experts Models
von: Tholoniat, Pierre, et al.
Veröffentlicht: (2024)

Online Decision-Focused Learning
von: Capitaine, Aymeric, et al.
Veröffentlicht: (2025)