Buchumschlag

Batch size invariant Adam

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Xi, Aitchison, Laurence
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

How to set AdamW's weight decay as you scale model and dataset size
von: Wang, Xi, et al.
Veröffentlicht: (2024)

Scale-invariant Attention
von: Anson, Ben, et al.
Veröffentlicht: (2025)

Why you don't overfit, and don't need Bayes if you only train for one epoch
von: Aitchison, Laurence
Veröffentlicht: (2024)

Controlling changes to attention logits
von: Anson, Ben, et al.
Veröffentlicht: (2025)

Bayesian Low-rank Adaptation for Large Language Models
von: Yang, Adam X., et al.
Veröffentlicht: (2023)

Learning to Skip the Middle Layers of Transformers
von: Lawson, Tim, et al.
Veröffentlicht: (2025)

Using Neural Networks for Data Cleaning in Weather Datasets
von: Hanslope, Jack R. P., et al.
Veröffentlicht: (2024)

Flexible Infinite-Width Graph Convolutional Neural Networks
von: Anson, Ben, et al.
Veröffentlicht: (2024)

Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines
von: Milsom, Edward, et al.
Veröffentlicht: (2024)

Massively Parallel Expectation Maximization For Approximate Posteriors
von: Heap, Thomas, et al.
Veröffentlicht: (2025)

Convolutional Deep Kernel Machines
von: Milsom, Edward, et al.
Veröffentlicht: (2023)

Function-Space Learning Rates
von: Milsom, Edward, et al.
Veröffentlicht: (2025)

Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers
von: Heap, Thomas, et al.
Veröffentlicht: (2025)

MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
von: Yang, Adam X., et al.
Veröffentlicht: (2023)

Position: Don't Use the CLT in LLM Evals With Fewer Than a Few Hundred Datapoints
von: Bowyer, Sam, et al.
Veröffentlicht: (2025)

Residual Stream Analysis with Multi-Layer SAEs
von: Lawson, Tim, et al.
Veröffentlicht: (2024)

Inverse-Free Sparse Variational Gaussian Processes
von: Cortinovis, Stefano, et al.
Veröffentlicht: (2026)

The Effect of Mini-Batch Noise on the Implicit Bias of Adam
von: Cattaneo, Matias D., et al.
Veröffentlicht: (2026)

Jacobian Sparse Autoencoders: Sparsify Computations, Not Just Activations
von: Farnik, Lucy, et al.
Veröffentlicht: (2025)

Novel Dynamic Batch-Sensitive Adam Optimiser for Vehicular Accident Injury Severity Prediction
von: Kyei, Daniel Asare, et al.
Veröffentlicht: (2026)

Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference
von: Fox, David, et al.
Veröffentlicht: (2026)

Continuum-armed Bandit Optimization with Batch Pairwise Comparison Oracles
von: Chang, Xiangyu, et al.
Veröffentlicht: (2025)

BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning
von: Quintana, Gonzalo Iñaki, et al.
Veröffentlicht: (2024)

Bayesian Reward Models for LLM Alignment
von: Yang, Adam X., et al.
Veröffentlicht: (2024)

Questionable practices in machine learning
von: Leech, Gavin, et al.
Veröffentlicht: (2024)

Data-Driven Knowledge Transfer in Batch $Q^*$ Learning
von: Chen, Elynn, et al.
Veröffentlicht: (2024)

Machine learning emulation of precipitation from km-scale UK regional climate simulations using a diffusion model
von: Addison, Henry, et al.
Veröffentlicht: (2024)

Robust Batched Bandits
von: Guo, Yunwen, et al.
Veröffentlicht: (2025)

Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs
von: Arnaboldi, Luca, et al.
Veröffentlicht: (2024)

CaAdam: Improving Adam optimizer using connection aware methods
von: Genet, Remi, et al.
Veröffentlicht: (2024)

Batched Stochastic Bandit for Nondegenerate Functions
von: Liu, Yu, et al.
Veröffentlicht: (2024)

Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
von: Srećković, Teodora, et al.
Veröffentlicht: (2025)

BADM: Batch ADMM for Deep Learning
von: Wang, Ouya, et al.
Veröffentlicht: (2024)

Unraveling Batch Normalization for Realistic Test-Time Adaptation
von: Su, Zixian, et al.
Veröffentlicht: (2023)

HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
von: Huang, Feihu, et al.
Veröffentlicht: (2026)

DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models
von: Liu, Jin, et al.
Veröffentlicht: (2026)

Supervised Batch Normalization
von: Faye, Bilal, et al.
Veröffentlicht: (2024)

Tune My Adam, Please!
von: Athanasiadis, Theodoros, et al.
Veröffentlicht: (2025)

In Search of Adam's Secret Sauce
von: Orvieto, Antonio, et al.
Veröffentlicht: (2025)

Diversified Batch Selection for Training Acceleration
von: Hong, Feng, et al.
Veröffentlicht: (2024)