Buchumschlag

Learning a Single Index Model from Anisotropic Data with vanilla Stochastic Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Braun, Guillaume, Quang, Minh Ha, Imaizumi, Masaaki
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fast Escape, Slow Convergence: Learning Dynamics of Phase Retrieval under Power-Law Data
von: Braun, Guillaume, et al.
Veröffentlicht: (2025)

Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval
von: Braun, Guillaume, et al.
Veröffentlicht: (2026)

Neuron Block Dynamics for XOR Classification with Zero-Margin
von: Braun, Guillaume, et al.
Veröffentlicht: (2026)

Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
von: Imai, Shota, et al.
Veröffentlicht: (2026)

Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
von: Imaizumi, Kento, et al.
Veröffentlicht: (2024)

High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2026)

Interactive Learning of Single-Index Models via Stochastic Gradient Descent
von: Rajaraman, Nived, et al.
Veröffentlicht: (2026)

Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
von: Sakai, Mana, et al.
Veröffentlicht: (2025)

Effect of Weight Quantization on Learning Models by Typical Case Analysis
von: Kashiwamura, Shuhei, et al.
Veröffentlicht: (2024)

Extended Wasserstein-GAN Approach to Causal Distribution Learning: Density-Free Estimation and Minimax Optimality
von: Tamano, Shu, et al.
Veröffentlicht: (2026)

Benign Overfitting in Time Series Linear Models with Over-Parameterization
von: Nakakita, Shogo, et al.
Veröffentlicht: (2022)

Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra
von: Wakayama, Tomoya, et al.
Veröffentlicht: (2023)

High-dimensional Contextual Bandit Problem without Sparsity
von: Komiyama, Junpei, et al.
Veröffentlicht: (2023)

Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers
von: Sakai, Mana, et al.
Veröffentlicht: (2026)

Towards Learning Stochastic Population Models by Gradient Descent
von: Kreikemeyer, Justin N., et al.
Veröffentlicht: (2024)

Automatic Domain Adaptation by Transformers in In-Context Learning
von: Hataya, Ryuichiro, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
von: Chen, Baiyuan, et al.
Veröffentlicht: (2025)

Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution
von: Yoshida, Naoki, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
von: Corlouer, Guillaume, et al.
Veröffentlicht: (2026)

Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size
von: Takeshita, Naoki, et al.
Veröffentlicht: (2025)

Bolstering Stochastic Gradient Descent with Model Building
von: Birbil, S. Ilker, et al.
Veröffentlicht: (2021)

Finite-Sample Inference for Sparsely Permuted Linear Regression
von: Ota, Hirofumi, et al.
Veröffentlicht: (2026)

Learning Curves of Stochastic Gradient Descent in Kernel Regression
von: Zhang, Haihan, et al.
Veröffentlicht: (2025)

Personalized Federated Learning with Exact Stochastic Gradient Descent
von: Nikoloutsopoulos, Sotirios, et al.
Veröffentlicht: (2022)

Precise Dynamics of Diagonal Linear Networks: A Unifying Analysis by Dynamical Mean-Field Theory
von: Nishiyama, Sota, et al.
Veröffentlicht: (2025)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

On the Generalization of Stochastic Gradient Descent with Momentum
von: Ramezani-Kebrya, Ali, et al.
Veröffentlicht: (2018)

Minimax Rates of Estimation for Optimal Transport Map between Infinite-Dimensional Spaces
von: Ponnoprat, Donlapark, et al.
Veröffentlicht: (2025)

Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry
von: Yoshida, Naoki, et al.
Veröffentlicht: (2025)

Gradient Descent Efficiency Index
von: Dhingra, Aviral
Veröffentlicht: (2024)

Precise gradient descent training dynamics for finite-width multi-layer neural networks
von: Han, Qiyang, et al.
Veröffentlicht: (2025)

Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
von: Kovačević, Filip, et al.
Veröffentlicht: (2026)

High-dimensional Nonparametric Contextual Bandit Problem
von: Iwazaki, Shogo, et al.
Veröffentlicht: (2025)

A Bootstrap Perspective on Stochastic Gradient Descent
von: Lan, Hongjian, et al.
Veröffentlicht: (2025)

Descend or Rewind? Stochastic Gradient Descent Unlearning
von: Mu, Siqiao, et al.
Veröffentlicht: (2025)

Adjacent Leader Decentralized Stochastic Gradient Descent
von: He, Haoze, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent for Nonparametric Additive Regression
von: Chen, Xin, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond
von: Li, Yipeng, et al.
Veröffentlicht: (2025)