Buchumschlag

Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lin, Wu, Lowe, Scott C., Dangel, Felix, Eschenhagen, Runa, Xu, Zikun, Grosse, Roger B.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reparametrizing Shampoo and SOAP for Subspace Basis Updates and BFloat16 Storage
von: Milligan, Alan, et al.
Veröffentlicht: (2026)

Spectral-factorized Positive-definite Curvature Learning for NN Training
von: Lin, Wu, et al.
Veröffentlicht: (2025)

Kronecker-factored Approximate Curvature (KFAC) From Scratch
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Purifying Shampoo: Investigating Shampoo's Heuristics by Decomposing its Preconditioner
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2025)

SOAP: Improving and Stabilizing Shampoo using Adam
von: Vyas, Nikhil, et al.
Veröffentlicht: (2024)

Position: Curvature Matrices Should Be Democratized via Linear Operators
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Clarifying Shampoo: Adapting Spectral Descent to Stochasticity and the Parameter Trajectory
von: Eschenhagen, Runa, et al.
Veröffentlicht: (2026)

Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective
von: Lin, Wu, et al.
Veröffentlicht: (2024)

Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
von: Lin, Wu, et al.
Veröffentlicht: (2023)

Generalized Kullback-Leibler Divergence Loss
von: Cui, Jiequan, et al.
Veröffentlicht: (2025)

Decoupled Kullback-Leibler Divergence Loss
von: Cui, Jiequan, et al.
Veröffentlicht: (2023)

Kullback-Leibler Barycentre of Stochastic Processes
von: Jaimungal, Sebastian, et al.
Veröffentlicht: (2024)

Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution
von: Zenn, Johannes, et al.
Veröffentlicht: (2024)

Kullback-Leibler Maillard Sampling for Multi-armed Bandits with Bounded Rewards
von: Qin, Hao, et al.
Veröffentlicht: (2023)

Coarse-Grained Kullback--Leibler Control of Diffusion-Based Generative AI
von: Tsuruyama, Tatsuaki
Veröffentlicht: (2026)

Orthogonal Nonnegative Matrix Factorization with the Kullback-Leibler divergence
von: Nkurunziza, Jean Pacifique, et al.
Veröffentlicht: (2024)

Jeffrey's update rule as a minimizer of Kullback-Leibler divergence
von: Pinzón, Carlos, et al.
Veröffentlicht: (2025)

Nearly Minimax Discrete Distribution Estimation in Kullback-Leibler Divergence with High Probability
von: van der Hoeven, Dirk, et al.
Veröffentlicht: (2025)

ScoreFusion: Fusing Score-based Generative Models via Kullback-Leibler Barycenters
von: Liu, Hao, et al.
Veröffentlicht: (2024)

Better Estimation of the Kullback--Leibler Divergence Between Language Models
von: Amini, Afra, et al.
Veröffentlicht: (2025)

Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
von: Chazal, Clémentine, et al.
Veröffentlicht: (2024)

Risk Bounds for Mixture Density Estimation on Compact Domains via the $h$-Lifted Kullback--Leibler Divergence
von: Chong, Mark Chiu, et al.
Veröffentlicht: (2024)

Sharper Perturbed-Kullback-Leibler Exponential Tail Bounds for Beta and Dirichlet Distributions
von: Perrault, Pierre
Veröffentlicht: (2025)

Better Hessians Matter: Studying the Impact of Curvature Approximations in Influence Functions
von: Hong, Steve, et al.
Veröffentlicht: (2025)

A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows
von: Crucinio, Francesca Romana
Veröffentlicht: (2025)

Wasserstein Distance Rivals Kullback-Leibler Divergence for Knowledge Distillation
von: Lv, Jiaming, et al.
Veröffentlicht: (2024)

Bayesian Experimental Design for Model Discrepancy Calibration: A Rivalry between Kullback--Leibler Divergence and Wasserstein Distance
von: Yang, Huchen, et al.
Veröffentlicht: (2026)

Relaxed Triangle Inequality for Kullback-Leibler Divergence Between Multivariate Gaussian Distributions
von: Xiao, Shiji, et al.
Veröffentlicht: (2026)

Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation
von: Luong, Hoang-Chau, et al.
Veröffentlicht: (2026)

Limits to classification performance by relating Kullback-Leibler divergence to Cohen's Kappa
von: Crow, L., et al.
Veröffentlicht: (2024)

Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods
von: Dangel, Felix
Veröffentlicht: (2023)

CAKD: A Correlation-Aware Knowledge Distillation Framework Based on Decoupling Kullback-Leibler Divergence
von: Zhang, Zao, et al.
Veröffentlicht: (2024)

Entropy and the Kullback-Leibler Divergence for Bayesian Networks: Computational Complexity and Efficient Implementation
von: Scutari, Marco
Veröffentlicht: (2023)

Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
von: Dorent, Reuben, et al.
Veröffentlicht: (2025)

Kullback-Leibler excess risk bounds for exponential weighted aggregation in Generalized linear models
von: Mai, The Tien
Veröffentlicht: (2025)

The Jacobian and Hessian of the Kullback-Leibler Divergence between Multivariate Gaussian Distributions (Technical Report)
von: Maroñas, Juan
Veröffentlicht: (2025)

Understanding SOAP from the Perspective of Gradient Whitening
von: Lu, Yanqing, et al.
Veröffentlicht: (2025)

Lowering PyTorch's Memory Consumption for Selective Differentiation
von: Bhatia, Samarth, et al.
Veröffentlicht: (2024)

Probabilistic classification from possibilistic data: computing Kullback-Leibler projection with a possibility distribution
von: Baaj, Ismaïl, et al.
Veröffentlicht: (2026)

Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
von: Qin, Hao, et al.
Veröffentlicht: (2025)