Buchumschlag

A Method for Enhancing Generalization of Adam by Multiple Integrations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jin, Long, Nong, Han, Chen, Liangming, Su, Zhenming
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers
von: Shi, Tao, et al.
Veröffentlicht: (2026)

Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
von: Huang, Feihu, et al.
Veröffentlicht: (2026)

Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks
von: Liang, Jia, et al.
Veröffentlicht: (2026)

A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning
von: Hieu, Nong Minh, et al.
Veröffentlicht: (2026)

Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models
von: Chen, Danchun, et al.
Veröffentlicht: (2026)

Generalization Analysis for Supervised Contrastive Representation Learning under Non-IID Settings
von: Hieu, Nong Minh, et al.
Veröffentlicht: (2025)

Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
von: Tang, Xuan, et al.
Veröffentlicht: (2025)

Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
von: Chen, Jianhui, et al.
Veröffentlicht: (2026)

MEMS Gyroscope Multi-Feature Calibration Using Machine Learning Technique
von: Long, Yaoyao, et al.
Veröffentlicht: (2024)

On Median of Incomplete U-Statistics
von: Hieu, Nong Minh
Veröffentlicht: (2026)

AdamZ: An Enhanced Optimisation Method for Neural Network Training
von: Zaznov, Ilia, et al.
Veröffentlicht: (2024)

Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

Neural Dynamical Operator: Continuous Spatial-Temporal Model with Gradient-Based and Derivative-Free Optimization Methods
von: Chen, Chuanqi, et al.
Veröffentlicht: (2023)

CaAdam: Improving Adam optimizer using connection aware methods
von: Genet, Remi, et al.
Veröffentlicht: (2024)

WarpAdam: A new Adam optimizer based on Meta-Learning approach
von: Pan, Chengxi, et al.
Veröffentlicht: (2024)

Generalization Bounds for Semi-supervised Matrix Completion with Distributional Side Information
von: Ledent, Antoine, et al.
Veröffentlicht: (2025)

A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models
von: Liu, Junkang, et al.
Veröffentlicht: (2025)

Generalization Analysis for Deep Contrastive Representation Learning
von: Hieu, Nong Minh, et al.
Veröffentlicht: (2024)

Batch size invariant Adam
von: Wang, Xi, et al.
Veröffentlicht: (2024)

Tune My Adam, Please!
von: Athanasiadis, Theodoros, et al.
Veröffentlicht: (2025)

In Search of Adam's Secret Sauce
von: Orvieto, Antonio, et al.
Veröffentlicht: (2025)

Deep Learning Approach for Knee Point Detection on Noisy Data
von: Fok, Ting Yan, et al.
Veröffentlicht: (2024)

Generalizing Fair Clustering to Multiple Groups: Algorithms and Applications
von: Chakraborty, Diptarka, et al.
Veröffentlicht: (2025)

MCL-GAN: Generative Adversarial Networks with Multiple Specialized Discriminators
von: Choi, Jinyoung, et al.
Veröffentlicht: (2021)

Adam on Local Time: Addressing Nonstationarity in RL with Relative Adam Timesteps
von: Ellis, Benjamin, et al.
Veröffentlicht: (2024)

The Implicit Bias of Adam on Separable Data
von: Zhang, Chenyang, et al.
Veröffentlicht: (2024)

Adam Simplified: Bias Correction Debunked
von: Laing, Sam, et al.
Veröffentlicht: (2025)

Refresh-Scaling the Memory of Balanced Adam
von: Fernández-Hernández, Alberto, et al.
Veröffentlicht: (2026)

ODE approximation for the Adam algorithm: General and overparametrized setting
von: Dereich, Steffen, et al.
Veröffentlicht: (2025)

Why Transformers Need Adam: A Hessian Perspective
von: Zhang, Yushun, et al.
Veröffentlicht: (2024)

Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Enhancing EEG Signal Generation through a Hybrid Approach Integrating Reinforcement Learning and Diffusion Models
von: An, Yang, et al.
Veröffentlicht: (2024)

SOPHON: Non-Fine-Tunable Learning to Restrain Task Transferability For Pre-trained Models
von: Deng, Jiangyi, et al.
Veröffentlicht: (2024)

A Generative Model Enhanced Multi-Agent Reinforcement Learning Method for Electric Vehicle Charging Navigation
von: Qi, Tianyang, et al.
Veröffentlicht: (2025)

Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods
von: Follain, Bertille, et al.
Veröffentlicht: (2024)

Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails
von: Jin, Ruinan, et al.
Veröffentlicht: (2026)

AdamO: A Collapse-Suppressed Optimizer for Offline RL
von: Qiao, Nan, et al.
Veröffentlicht: (2026)