Buchumschlag

Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shi, Tao, Chen, Liangming, Jin, Long, Zhou, Mengchu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Method for Enhancing Generalization of Adam by Multiple Integrations
von: Jin, Long, et al.
Veröffentlicht: (2024)

CLAIRE: Compressed Latent Autoencoder for Industrial Representation and Evaluation -- A Deep Learning Framework for Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)

Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

Edge-AI-Driven Learning-to-Rank for Decentralized Task Allocation in Circular Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)

Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Robustness Against Weak or Invalid Instruments: Exploring Nonlinear Treatment Models with Machine Learning
von: Guo, Zijian, et al.
Veröffentlicht: (2022)

HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
von: Huang, Feihu, et al.
Veröffentlicht: (2026)

A Heavy-Load-Enhanced and Changeable-Periodicity-Perceived Workload Prediction Network
von: Chen, Feiyi, et al.
Veröffentlicht: (2023)

AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization
von: Bieringer, Sebastian, et al.
Veröffentlicht: (2023)

Generative Deep Learning Framework for Inverse Design of Fuels
von: Yalamanchi, Kiran K., et al.
Veröffentlicht: (2025)

Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks
von: Liang, Jia, et al.
Veröffentlicht: (2026)

Acoustic Structure Inverse Design and Optimization Using Deep Learning
von: Sun, Xuecong, et al.
Veröffentlicht: (2021)

Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models
von: Chen, Danchun, et al.
Veröffentlicht: (2026)

FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models
von: Liu, Junkang, et al.
Veröffentlicht: (2025)

In-Run Data Shapley for Adam Optimizer
von: Ding, Meng, et al.
Veröffentlicht: (2026)

DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning
von: Chooi, Jay, et al.
Veröffentlicht: (2025)

HQViT: Hybrid Quantum Vision Transformer for Image Classification
von: Zhang, Hui, et al.
Veröffentlicht: (2025)

Compressed Models are NOT Trust-equivalent to Their Large Counterparts
von: Rai, Rohit Raj, et al.
Veröffentlicht: (2025)

Decentralized Online Learning for Random Inverse Problems Over Graphs
von: Zhang, Xiwei, et al.
Veröffentlicht: (2023)

WarpAdam: A new Adam optimizer based on Meta-Learning approach
von: Pan, Chengxi, et al.
Veröffentlicht: (2024)

Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
von: Zhou, Chang, et al.
Veröffentlicht: (2024)

Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
von: Chen, Jianhui, et al.
Veröffentlicht: (2026)

Federated Transfer Learning with Differential Privacy
von: Li, Mengchu, et al.
Veröffentlicht: (2024)

Recursive Deep Inverse Reinforcement Learning
von: Ghanem, Paul, et al.
Veröffentlicht: (2025)

DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models
von: Liu, Jin, et al.
Veröffentlicht: (2026)

Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
von: Waykole, Vedant, et al.
Veröffentlicht: (2026)

Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
von: Tang, Xuan, et al.
Veröffentlicht: (2025)

Counterpart Fairness -- Addressing Systematic between-group Differences in Fairness Evaluation
von: Wang, Yifei, et al.
Veröffentlicht: (2023)

Towards Generalized Inverse Reinforcement Learning
von: Dong, Chaosheng, et al.
Veröffentlicht: (2024)

AdamO: A Collapse-Suppressed Optimizer for Offline RL
von: Qiao, Nan, et al.
Veröffentlicht: (2026)

Enhancing Portfolio Optimization with Deep Learning Insights
von: Luo, Brandon, et al.
Veröffentlicht: (2026)

Scalable Kernel Inverse Optimization
von: Long, Youyuan, et al.
Veröffentlicht: (2024)

Compositional Generative Inverse Design
von: Wu, Tailin, et al.
Veröffentlicht: (2024)

DeepSPoC: A Deep Learning-Based PDE Solver Governed by Sequential Propagation of Chaos
von: Du, Kai, et al.
Veröffentlicht: (2024)

BTTackler: A Diagnosis-based Framework for Efficient Deep Learning Hyperparameter Optimization
von: Pei, Zhongyi, et al.
Veröffentlicht: (2026)

Generative Inverse Design of Metamaterials with Functional Responses by Interpretable Learning
von: Chen, Wei "Wayne", et al.
Veröffentlicht: (2023)

SOPHON: Non-Fine-Tunable Learning to Restrain Task Transferability For Pre-trained Models
von: Deng, Jiangyi, et al.
Veröffentlicht: (2024)

Tight Generalization Bounds for Noiseless Inverse Optimization
von: Fatemi, Pouria, et al.
Veröffentlicht: (2026)