Buchumschlag

Structured and Fast Optimization: The Kronecker SGD Algorithm

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Song, Zhao, Yue, Song
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fast Inference with Kronecker-Sparse Matrices
von: Gonon, Antoine, et al.
Veröffentlicht: (2024)

Rethinking Bregman Divergences in Kronecker-Factored Optimizers
von: Liu, Bing, et al.
Veröffentlicht: (2026)

Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)

Quantum Speedup for Spectral Approximation of Kronecker Products
von: Gao, Yeqi, et al.
Veröffentlicht: (2024)

Generalization and Optimization of SGD with Lookahead
von: Li, Kangcheng, et al.
Veröffentlicht: (2025)

Topology-aware Generalization of Decentralized SGD
von: Zhu, Tongtian, et al.
Veröffentlicht: (2022)

Does SGD really happen in tiny subspaces?
von: Song, Minhak, et al.
Veröffentlicht: (2024)

Kronecker-Structured Nonparametric Spatiotemporal Point Processes
von: Xu, Zhitong, et al.
Veröffentlicht: (2026)

Scalable Gaussian Processes with Latent Kronecker Structure
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2025)

Fast and Efficient Matching Algorithm with Deadline Instances
von: Song, Zhao, et al.
Veröffentlicht: (2023)

A Short Note on Batch-efficient Divide-and-Conquer Algorithm for EigenDecomposition
von: Song, Yue
Veröffentlicht: (2026)

Bootstrap SGD: Algorithmic Stability and Robustness
von: Christmann, Andreas, et al.
Veröffentlicht: (2024)

Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
von: Bars, Batiste Le, et al.
Veröffentlicht: (2023)

Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2025)

The ADMM-PINNs Algorithmic Framework for Nonsmooth PDE-Constrained Optimization: A Deep Learning Approach
von: Song, Yongcun, et al.
Veröffentlicht: (2023)

Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing
von: Wagner, Dominik, et al.
Veröffentlicht: (2024)

Faster Algorithms for Structured Linear and Kernel Support Vector Machines
von: Gu, Yuzhou, et al.
Veröffentlicht: (2023)

Higher-Order Transformers With Kronecker-Structured Attention
von: Omranpour, Soroush, et al.
Veröffentlicht: (2024)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

The Optimization Landscape of SGD Across the Feature Learning Strength
von: Atanasov, Alexander, et al.
Veröffentlicht: (2024)

Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
von: Attia, Amit, et al.
Veröffentlicht: (2025)

Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm
von: Li, Hongyang, et al.
Veröffentlicht: (2025)

Suspicious Alignment of SGD: A Fine-Grained Step Size Condition Analysis
von: Deng, Shenyang, et al.
Veröffentlicht: (2026)

SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates
von: Frangella, Zachary, et al.
Veröffentlicht: (2022)

Learning Kronecker-Structured Graphs from Smooth Signals
von: Shi, Changhao, et al.
Veröffentlicht: (2025)

Fast RoPE Attention: Combining the Polynomial Method and Fast Fourier Transform
von: Alman, Josh, et al.
Veröffentlicht: (2025)

Truncated Non-Uniform Quantization for Distributed SGD
von: Yan, Guangfeng, et al.
Veröffentlicht: (2024)

Sign-SGD via Parameter-Free Optimization
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Scaling Gaussian Processes for Learning Curve Prediction via Latent Kronecker Structure
von: Lin, Jihao Andreas, et al.
Veröffentlicht: (2024)

Minibatch and Local SGD: Algorithmic Stability and Linear Speedup in Generalization
von: Lei, Yunwen, et al.
Veröffentlicht: (2023)

Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise
von: Bae, Youngkyoung, et al.
Veröffentlicht: (2024)

Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
von: Zhang, Haihan, et al.
Veröffentlicht: (2024)

SGD with Partial Hessian for Deep Neural Networks Optimization
von: Sun, Ying, et al.
Veröffentlicht: (2024)

Optimal Projection-Free Adaptive SGD for Matrix Optimization
von: Kovalev, Dmitry
Veröffentlicht: (2026)

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

An Iterative Algorithm for Rescaled Hyperbolic Functions Regression
von: Gao, Yeqi, et al.
Veröffentlicht: (2023)

Optimal and Efficient Algorithms for Decentralized Online Convex Optimization
von: Wan, Yuanyu, et al.
Veröffentlicht: (2024)

FastEagle: Cascaded Drafting for Accelerating Speculative Decoding
von: Huang, Haiduo, et al.
Veröffentlicht: (2025)