Copertina

Adam Reduces a Unique Form of Sharpness: Theoretical Insights Near the Minimizer Manifold

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Li, Xinghan, Wen, Haodong, Lyu, Kaifeng
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Larger Datasets Can Be Repeated More: A Theoretical Analysis of Multi-Epoch Scaling in Linear Regression
di: Yan, Tingkai, et al.
Pubblicazione: (2025)

Tilted Sharpness-Aware Minimization
di: Li, Tian, et al.
Pubblicazione: (2024)

RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
di: Wen, Kaiyue, et al.
Pubblicazione: (2024)

Friendly Sharpness-Aware Minimization
di: Li, Tao, et al.
Pubblicazione: (2024)

Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term
di: Yue, Yun, et al.
Pubblicazione: (2023)

Agnostic Sharpness-Aware Minimization
di: Nguyen, Van-Anh, et al.
Pubblicazione: (2024)

VASSO: Variance Suppression for Sharpness-Aware Minimization
di: Li, Bingcong, et al.
Pubblicazione: (2025)

Sharpness-Aware Teleportation on Riemannian Manifolds
di: Truong, Tuan, et al.
Pubblicazione: (2023)

Sharp Bounds for Sequential Federated Learning on Heterogeneous Data
di: Li, Yipeng, et al.
Pubblicazione: (2024)

SAMPa: Sharpness-aware Minimization Parallelized
di: Xie, Wanyun, et al.
Pubblicazione: (2024)

Sharpness-Aware Minimization Can Hallucinate Minimizers
di: Park, Chanwoong, et al.
Pubblicazione: (2025)

Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
di: Li, Binghui, et al.
Pubblicazione: (2024)

LightSAM: Parameter-Agnostic Sharpness-Aware Minimization
di: Cheng, Yifei, et al.
Pubblicazione: (2025)

Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
di: Li, Bingcong, et al.
Pubblicazione: (2024)

Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization
di: Niu, Shuaicheng, et al.
Pubblicazione: (2025)

Shift is Good: Mismatched Data Mixing Improves Test Performance
di: Medvedev, Marko, et al.
Pubblicazione: (2025)

GCSAM: Gradient Centralized Sharpness Aware Minimization
di: Hassan, Mohamed, et al.
Pubblicazione: (2025)

On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness
di: Kamber, Anil, et al.
Pubblicazione: (2026)

How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
di: Luo, Kairong, et al.
Pubblicazione: (2025)

A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
di: Luo, Kairong, et al.
Pubblicazione: (2025)

Preconditioned Sharpness-Aware Minimization: Unifying Analysis and a Novel Learning Algorithm
di: Zhang, Yilang, et al.
Pubblicazione: (2025)

Sharpness-Aware Minimization for Generalized Embedding Learning in Federated Recommendation
di: Yu, Fengyuan, et al.
Pubblicazione: (2026)

Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning
di: Cheng, Yifei, et al.
Pubblicazione: (2026)

Stability Analysis of Sharpness-Aware Minimization
di: Kim, Hoki, et al.
Pubblicazione: (2023)

A Universal Class of Sharpness-Aware Minimization Algorithms
di: Tahmasebi, Behrooz, et al.
Pubblicazione: (2024)

Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius
di: Wang, Xuehao, et al.
Pubblicazione: (2024)

Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training
di: Zhou, Zhanpeng, et al.
Pubblicazione: (2024)

Learning Distributions on Manifolds with Free-Form Flows
di: Sorrenson, Peter, et al.
Pubblicazione: (2023)

Simplicity Bias via Global Convergence of Sharpness Minimization
di: Gatmiry, Khashayar, et al.
Pubblicazione: (2024)

Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification
di: Li, Sicong, et al.
Pubblicazione: (2025)

Sharpness-Aware Minimization and the Edge of Stability
di: Long, Philip M., et al.
Pubblicazione: (2023)

Sharpness-Aware Minimization in Genetic Programming
di: Bakurov, Illya, et al.
Pubblicazione: (2024)

Orthogonal Random Features: Explicit Forms and Sharp Inequalities
di: Demni, Nizar, et al.
Pubblicazione: (2023)

ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
di: Ji, Jie, et al.
Pubblicazione: (2026)

On the SDEs and Scaling Rules for Adaptive Gradient Algorithms
di: Malladi, Sadhika, et al.
Pubblicazione: (2022)

Critical Influence of Overparameterization on Sharpness-aware Minimization
di: Shin, Sungbin, et al.
Pubblicazione: (2023)

Membership Privacy Risks of Sharpness Aware Minimization
di: Kim, Young In, et al.
Pubblicazione: (2023)

Navigating Potholes with Geometry-Aware Sharpness Minimization
di: Dufort-Labbé, Simon, et al.
Pubblicazione: (2026)

Automated Manifold Learning for Reduced Order Modeling
di: Nasim, Imran, et al.
Pubblicazione: (2025)

Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning
di: Jo, Junhyuk, et al.
Pubblicazione: (2025)