Buchumschlag

Unveiling m-Sharpness Through the Structure of Stochastic Gradient Noise

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Luo, Haocheng, Harandi, Mehrtash, Phung, Dinh, Le, Trung
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sharpness-Aware Minimization in Logit Space Efficiently Enhances Direct Preference Optimization
von: Luo, Haocheng, et al.
Veröffentlicht: (2026)

Sharpness-Aware Teleportation on Riemannian Manifolds
von: Truong, Tuan, et al.
Veröffentlicht: (2023)

Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
von: Luo, Haocheng, et al.
Veröffentlicht: (2025)

Optimizing Specific and Shared Parameters for Efficient Parameter Tuning
von: Nguyen, Van-Anh, et al.
Veröffentlicht: (2025)

Optimal Transport for Structure Learning Under Missing Data
von: Vo, Vy, et al.
Veröffentlicht: (2024)

Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
von: Tran, Minh-Tuan, et al.
Veröffentlicht: (2024)

Ordering-based Causal Discovery via Generalized Score Matching
von: Vo, Vy, et al.
Veröffentlicht: (2026)

Test-Time Instance-Specific Parameter Composition: A New Paradigm for Adaptive Generative Modeling
von: Tran, Minh-Tuan, et al.
Veröffentlicht: (2026)

Statement-Level Vulnerability Detection: Learning Vulnerability Patterns Through Information Theory and Contrastive Learning
von: Nguyen, Van, et al.
Veröffentlicht: (2022)

Exemplar-Free Continual Learning for State Space Models
von: Lee, Isaac Ning, et al.
Veröffentlicht: (2025)

Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence
von: Nguyen, Quoc Minh, et al.
Veröffentlicht: (2026)

Noise Balance and Stationary Distribution of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation
von: Nguyen, Tuan, et al.
Veröffentlicht: (2024)

Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective
von: Phan, Hoang, et al.
Veröffentlicht: (2022)

Why Domain Generalization Fail? A View of Necessity and Sufficiency
von: Vuong, Long-Tung, et al.
Veröffentlicht: (2025)

Connective Viewpoints of Signal-to-Noise Diffusion Models
von: Doan, Khanh, et al.
Veröffentlicht: (2024)

Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks
von: Chen, Feng, et al.
Veröffentlicht: (2023)

IMU: Influence-guided Machine Unlearning
von: Fan, Xindi, et al.
Veröffentlicht: (2025)

Diversity-Aware Agnostic Ensemble of Sharpness Minimizers
von: Bui, Anh, et al.
Veröffentlicht: (2024)

Fantastic Targets for Concept Erasure in Diffusion Models and Where To Find Them
von: Bui, Anh, et al.
Veröffentlicht: (2025)

Revealing Modular Gradient Noise Imbalance in LLMs: Calibrating Adam via Signal-to-Noise Ratio
von: Wen, Ziqing, et al.
Veröffentlicht: (2026)

Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
von: Naganuma, Hiroki, et al.
Veröffentlicht: (2026)

Agnostic Sharpness-Aware Minimization
von: Nguyen, Van-Anh, et al.
Veröffentlicht: (2024)

Scissorhands: Scrub Data Influence via Connection Sensitivity in Networks
von: Wu, Jing, et al.
Veröffentlicht: (2024)

Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise
von: Bae, Youngkyoung, et al.
Veröffentlicht: (2024)

Ethical and Scalable Automation: A Governance and Compliance Framework for Business Applications
von: Lin, Haocheng
Veröffentlicht: (2024)

X-SAM: Boosting Sharpness-Aware Minimization with Dominant-Eigenvector Gradient Correction
von: Duan, Hongru, et al.
Veröffentlicht: (2026)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
von: Liao, Fangshuo, et al.
Veröffentlicht: (2026)

Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review
von: Zuffer, Amara, et al.
Veröffentlicht: (2025)

Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy
von: Tan, Chengli, et al.
Veröffentlicht: (2024)

BSO: Safety Alignment Is Density Ratio Matching
von: Nguyen, Tien-Phat, et al.
Veröffentlicht: (2026)

From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity
von: Liew, Yee Zhing, et al.
Veröffentlicht: (2026)

MoSE: Unveiling Structural Patterns in Graphs via Mixture of Subgraph Experts
von: Ye, Junda, et al.
Veröffentlicht: (2025)

Adaptive Heavy-Tailed Stochastic Gradient Descent
von: Gong, Bodu, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

FairSAM: Fair Classification on Corrupted Data Through Sharpness-Aware Minimization
von: Dai, Yucong, et al.
Veröffentlicht: (2025)

Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients
von: Mansouri, Omar El, et al.
Veröffentlicht: (2025)

Generative Modeling with Phase Stochastic Bridges
von: Chen, Tianrong, et al.
Veröffentlicht: (2023)

Enhancing Robustness of Offline Reinforcement Learning Under Data Corruption via Sharpness-Aware Minimization
von: Xu, Le, et al.
Veröffentlicht: (2025)

The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
von: Liu, Shuze Daniel, et al.
Veröffentlicht: (2024)