Buchumschlag

Gradient Compression May Hurt Generalization: A Remedy by Synthetic Data Guided Sharpness Aware Minimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gu, Yujie, Jin, Richeng, Zhang, Zhaoyang, Dai, Huaiyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FairSAM: Fair Classification on Corrupted Data Through Sharpness-Aware Minimization
von: Dai, Yucong, et al.
Veröffentlicht: (2025)

Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization
von: Tan, Chengli, et al.
Veröffentlicht: (2025)

X-SAM: Boosting Sharpness-Aware Minimization with Dominant-Eigenvector Gradient Correction
von: Duan, Hongru, et al.
Veröffentlicht: (2026)

TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data
von: Jin, Richeng, et al.
Veröffentlicht: (2024)

Stability Analysis of Sharpness-Aware Minimization
von: Kim, Hoki, et al.
Veröffentlicht: (2023)

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities
von: Xu, Yichen
Veröffentlicht: (2026)

Attributing Data for Sharpness-Aware Minimization
von: Ren, Chenyang, et al.
Veröffentlicht: (2025)

Navigating Potholes with Geometry-Aware Sharpness Minimization
von: Dufort-Labbé, Simon, et al.
Veröffentlicht: (2026)

Membership Privacy Risks of Sharpness Aware Minimization
von: Kim, Young In, et al.
Veröffentlicht: (2023)

Towards Understanding the Role of Sharpness-Aware Minimization Algorithms for Out-of-Distribution Generalization
von: Schapiro, Samuel, et al.
Veröffentlicht: (2024)

SAMOSA: Sharpness Aware Minimization for Open Set Active learning
von: Kim, Young In, et al.
Veröffentlicht: (2025)

Enhancing Robustness of Offline Reinforcement Learning Under Data Corruption via Sharpness-Aware Minimization
von: Xu, Le, et al.
Veröffentlicht: (2025)

Quantifying Multimodal Capabilities: Formal Generalization Guarantees in Pairwise Metric Learning
von: Zhou, Richeng, et al.
Veröffentlicht: (2026)

Revisiting Sharpness-Aware Minimization: A More Faithful and Effective Implementation
von: Chen, Jianlong, et al.
Veröffentlicht: (2026)

Unpacking the Implicit Norm Dynamics of Sharpness-Aware Minimization in Tensorized Models
von: Cao, Tianxiao, et al.
Veröffentlicht: (2025)

Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification
von: Luo, Yihong, et al.
Veröffentlicht: (2024)

Sharpness-Aware Minimization in Logit Space Efficiently Enhances Direct Preference Optimization
von: Luo, Haocheng, et al.
Veröffentlicht: (2026)

The Pitfalls of Memorization: When Memorization Hurts Generalization
von: Bayat, Reza, et al.
Veröffentlicht: (2024)

Sharpness-Aware Minimization with Z-Score Gradient Filtering
von: Yun, Vincent-Daniel
Veröffentlicht: (2025)

Data Shifts Hurt CoT: A Theoretical Study
von: Yin, Lang, et al.
Veröffentlicht: (2025)

Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
von: Kim, Hee-Sung, et al.
Veröffentlicht: (2026)

Distribution-Aware Mobility-Assisted Decentralized Federated Learning
von: Reza, Md Farhamdur, et al.
Veröffentlicht: (2025)

On the Duality Between Sharpness-Aware Minimization and Adversarial Training
von: Zhang, Yihao, et al.
Veröffentlicht: (2024)

Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
von: Moon, Chaewon, et al.
Veröffentlicht: (2026)

Bi-LoRA: Efficient Sharpness-Aware Minimization for Fine-Tuning Large-Scale Models
von: Liu, Yuhang, et al.
Veröffentlicht: (2025)

Sharpness-Aware Black-Box Optimization
von: Ye, Feiyang, et al.
Veröffentlicht: (2024)

When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation
von: Faisal, Faizan
Veröffentlicht: (2026)

Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy
von: Tan, Chengli, et al.
Veröffentlicht: (2024)

Mobility-Assisted Decentralized Federated Learning: Convergence Analysis and A Data-Driven Approach
von: Jahani, Reza, et al.
Veröffentlicht: (2025)

Sharpness-Aware Teleportation on Riemannian Manifolds
von: Truong, Tuan, et al.
Veröffentlicht: (2023)

Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
von: Armandpour, Mohammadreza, et al.
Veröffentlicht: (2026)

Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
von: Zhang, Yi-Ge, et al.
Veröffentlicht: (2025)

Unveiling m-Sharpness Through the Structure of Stochastic Gradient Noise
von: Luo, Haocheng, et al.
Veröffentlicht: (2025)

Byzantine Outside, Curious Inside: Reconstructing Data Through Malicious Updates
von: Yue, Kai, et al.
Veröffentlicht: (2025)

CasualSynth: Generating Structurally Sound Synthetic Data
von: Cheng, Zehua, et al.
Veröffentlicht: (2026)

NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning
von: Xu, Jiayu, et al.
Veröffentlicht: (2026)

Tractable Sharpness-Aware Learning of Probabilistic Circuits
von: Suresh, Hrithik, et al.
Veröffentlicht: (2025)

FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments
von: Rahil, Sameer, et al.
Veröffentlicht: (2025)

Conceal, Reconstruct, Jailbreak: Exploiting the Reconstruction-Concealment Tradeoff in MLLMs
von: Reza, Md Farhamdur, et al.
Veröffentlicht: (2026)

MUC-G4: Minimal Unsat Core-Guided Incremental Verification for Deep Neural Network Compression
von: Li, Jingyang, et al.
Veröffentlicht: (2025)