Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Shi, Tao, Chen, Liangming, Jin, Long, Zhou, Mengchu |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2026
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
A Method for Enhancing Generalization of Adam by Multiple Integrations
von: Jin, Long, et al.
Veröffentlicht: (2024)
von: Jin, Long, et al.
Veröffentlicht: (2024)
CLAIRE: Compressed Latent Autoencoder for Industrial Representation and Evaluation -- A Deep Learning Framework for Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)
Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)
Edge-AI-Driven Learning-to-Rank for Decentralized Task Allocation in Circular Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026)
Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)
Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)
Robustness Against Weak or Invalid Instruments: Exploring Nonlinear Treatment Models with Machine Learning
von: Guo, Zijian, et al.
Veröffentlicht: (2022)
von: Guo, Zijian, et al.
Veröffentlicht: (2022)
HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
von: Huang, Feihu, et al.
Veröffentlicht: (2026)
von: Huang, Feihu, et al.
Veröffentlicht: (2026)
A Heavy-Load-Enhanced and Changeable-Periodicity-Perceived Workload Prediction Network
von: Chen, Feiyi, et al.
Veröffentlicht: (2023)
von: Chen, Feiyi, et al.
Veröffentlicht: (2023)
AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization
von: Bieringer, Sebastian, et al.
Veröffentlicht: (2023)
von: Bieringer, Sebastian, et al.
Veröffentlicht: (2023)
Generative Deep Learning Framework for Inverse Design of Fuels
von: Yalamanchi, Kiran K., et al.
Veröffentlicht: (2025)
von: Yalamanchi, Kiran K., et al.
Veröffentlicht: (2025)
Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
von: Zhang, Qi, et al.
Veröffentlicht: (2024)
von: Zhang, Qi, et al.
Veröffentlicht: (2024)
Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks
von: Liang, Jia, et al.
Veröffentlicht: (2026)
von: Liang, Jia, et al.
Veröffentlicht: (2026)
Acoustic Structure Inverse Design and Optimization Using Deep Learning
von: Sun, Xuecong, et al.
Veröffentlicht: (2021)
von: Sun, Xuecong, et al.
Veröffentlicht: (2021)
Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models
von: Chen, Danchun, et al.
Veröffentlicht: (2026)
von: Chen, Danchun, et al.
Veröffentlicht: (2026)
FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models
von: Liu, Junkang, et al.
Veröffentlicht: (2025)
von: Liu, Junkang, et al.
Veröffentlicht: (2025)
In-Run Data Shapley for Adam Optimizer
von: Ding, Meng, et al.
Veröffentlicht: (2026)
von: Ding, Meng, et al.
Veröffentlicht: (2026)
DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning
von: Chooi, Jay, et al.
Veröffentlicht: (2025)
von: Chooi, Jay, et al.
Veröffentlicht: (2025)
HQViT: Hybrid Quantum Vision Transformer for Image Classification
von: Zhang, Hui, et al.
Veröffentlicht: (2025)
von: Zhang, Hui, et al.
Veröffentlicht: (2025)
Compressed Models are NOT Trust-equivalent to Their Large Counterparts
von: Rai, Rohit Raj, et al.
Veröffentlicht: (2025)
von: Rai, Rohit Raj, et al.
Veröffentlicht: (2025)
Decentralized Online Learning for Random Inverse Problems Over Graphs
von: Zhang, Xiwei, et al.
Veröffentlicht: (2023)
von: Zhang, Xiwei, et al.
Veröffentlicht: (2023)
WarpAdam: A new Adam optimizer based on Meta-Learning approach
von: Pan, Chengxi, et al.
Veröffentlicht: (2024)
von: Pan, Chengxi, et al.
Veröffentlicht: (2024)
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
von: Zhou, Chang, et al.
Veröffentlicht: (2024)
von: Zhou, Chang, et al.
Veröffentlicht: (2024)
Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
von: Chen, Jianhui, et al.
Veröffentlicht: (2026)
von: Chen, Jianhui, et al.
Veröffentlicht: (2026)
Federated Transfer Learning with Differential Privacy
von: Li, Mengchu, et al.
Veröffentlicht: (2024)
von: Li, Mengchu, et al.
Veröffentlicht: (2024)
Recursive Deep Inverse Reinforcement Learning
von: Ghanem, Paul, et al.
Veröffentlicht: (2025)
von: Ghanem, Paul, et al.
Veröffentlicht: (2025)
DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models
von: Liu, Jin, et al.
Veröffentlicht: (2026)
von: Liu, Jin, et al.
Veröffentlicht: (2026)
Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
von: Waykole, Vedant, et al.
Veröffentlicht: (2026)
von: Waykole, Vedant, et al.
Veröffentlicht: (2026)
Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
von: Tang, Xuan, et al.
Veröffentlicht: (2025)
von: Tang, Xuan, et al.
Veröffentlicht: (2025)
Counterpart Fairness -- Addressing Systematic between-group Differences in Fairness Evaluation
von: Wang, Yifei, et al.
Veröffentlicht: (2023)
von: Wang, Yifei, et al.
Veröffentlicht: (2023)
Towards Generalized Inverse Reinforcement Learning
von: Dong, Chaosheng, et al.
Veröffentlicht: (2024)
von: Dong, Chaosheng, et al.
Veröffentlicht: (2024)
AdamO: A Collapse-Suppressed Optimizer for Offline RL
von: Qiao, Nan, et al.
Veröffentlicht: (2026)
von: Qiao, Nan, et al.
Veröffentlicht: (2026)
Enhancing Portfolio Optimization with Deep Learning Insights
von: Luo, Brandon, et al.
Veröffentlicht: (2026)
von: Luo, Brandon, et al.
Veröffentlicht: (2026)
Scalable Kernel Inverse Optimization
von: Long, Youyuan, et al.
Veröffentlicht: (2024)
von: Long, Youyuan, et al.
Veröffentlicht: (2024)
Compositional Generative Inverse Design
von: Wu, Tailin, et al.
Veröffentlicht: (2024)
von: Wu, Tailin, et al.
Veröffentlicht: (2024)
DeepSPoC: A Deep Learning-Based PDE Solver Governed by Sequential Propagation of Chaos
von: Du, Kai, et al.
Veröffentlicht: (2024)
von: Du, Kai, et al.
Veröffentlicht: (2024)
BTTackler: A Diagnosis-based Framework for Efficient Deep Learning Hyperparameter Optimization
von: Pei, Zhongyi, et al.
Veröffentlicht: (2026)
von: Pei, Zhongyi, et al.
Veröffentlicht: (2026)
Generative Inverse Design of Metamaterials with Functional Responses by Interpretable Learning
von: Chen, Wei "Wayne", et al.
Veröffentlicht: (2023)
von: Chen, Wei "Wayne", et al.
Veröffentlicht: (2023)
SOPHON: Non-Fine-Tunable Learning to Restrain Task Transferability For Pre-trained Models
von: Deng, Jiangyi, et al.
Veröffentlicht: (2024)
von: Deng, Jiangyi, et al.
Veröffentlicht: (2024)
Tight Generalization Bounds for Noiseless Inverse Optimization
von: Fatemi, Pouria, et al.
Veröffentlicht: (2026)
von: Fatemi, Pouria, et al.
Veröffentlicht: (2026)
Ähnliche Einträge
-
A Method for Enhancing Generalization of Adam by Multiple Integrations
von: Jin, Long, et al.
Veröffentlicht: (2024) -
CLAIRE: Compressed Latent Autoencoder for Industrial Representation and Evaluation -- A Deep Learning Framework for Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026) -
Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026) -
Edge-AI-Driven Learning-to-Rank for Decentralized Task Allocation in Circular Smart Manufacturing
von: Ghahramani, Mohammadhossein, et al.
Veröffentlicht: (2026) -
Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)