Buchumschlag

A Basin-Selection Perspective on Grokking via Singular Learning Theory

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cullen, Ben, Estan-Ruiz, Sergio, Danait, Riya, Li, Jiayi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
von: Danait, Ved, et al.
Veröffentlicht: (2025)

To Grok Grokking: Provable Grokking in Ridge Regression
von: Xu, Mingyue, et al.
Veröffentlicht: (2026)

Grokked Models are Better Unlearners
von: Liang, Yuanbang, et al.
Veröffentlicht: (2025)

The Complexity Dynamics of Grokking
von: DeMoss, Branton, et al.
Veröffentlicht: (2024)

Measuring Sharpness in Grokking
von: Miller, Jack, et al.
Veröffentlicht: (2024)

Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
von: Minegishi, Gouki, et al.
Veröffentlicht: (2023)

Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition
von: Huang, Yufei, et al.
Veröffentlicht: (2024)

Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation
von: Park, Yeachan, et al.
Veröffentlicht: (2024)

Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking
von: Han, Ting, et al.
Veröffentlicht: (2025)

Topological Signatures of Grokking
von: Tang, Yifan, et al.
Veröffentlicht: (2026)

PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory
von: Wang, Chenyang, et al.
Veröffentlicht: (2026)

ILDR: Geometric Early Detection of Grokking
von: Golwala, Shreel
Veröffentlicht: (2026)

Exploring Grokking: Experimental and Mechanistic Investigations
von: Qiye, Hu, et al.
Veröffentlicht: (2024)

The Norm-Separation Delay Law of Grokking: A First-Principles Theory of Delayed Generalization
von: Khanh, Truong Xuan, et al.
Veröffentlicht: (2026)

Grokking Explained: A Statistical Phenomenon
von: Carvalho, Breno W., et al.
Veröffentlicht: (2025)

What Can Grokking Teach Us About Learning Under Nonstationarity?
von: Lyle, Clare, et al.
Veröffentlicht: (2025)

Critical Data Size of Language Models from a Grokking Perspective
von: Zhu, Xuekai, et al.
Veröffentlicht: (2024)

Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
von: Li, Ziyue, et al.
Veröffentlicht: (2025)

Distributional Spectral Diagnostics for Localizing Grokking Transitions
von: Wang, Ziyue, et al.
Veröffentlicht: (2026)

GrokAlign: Geometric Characterisation and Acceleration of Grokking
von: Walker, Thomas, et al.
Veröffentlicht: (2025)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
von: Xu, Yongzhong
Veröffentlicht: (2026)

Why Do You Grok? A Theoretical Analysis of Grokking Modular Addition
von: Mohamadi, Mohamad Amin, et al.
Veröffentlicht: (2024)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

Grokking in Linear Models for Logistic Regression
von: Das, Nataraj, et al.
Veröffentlicht: (2026)

Controlling Grokking with Nonlinearity and Data Symmetry
von: Salah, Ahmed, et al.
Veröffentlicht: (2024)

Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent
von: Chou, Chi-Ning, et al.
Veröffentlicht: (2026)

Grokking of Diffusion Models: Case Study on Modular Addition
von: Kim, Joon Hyeok, et al.
Veröffentlicht: (2026)

Explaining Grokking in Transformers through the Lens of Inductive Bias
von: Singh, Jaisidh, et al.
Veröffentlicht: (2026)

Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking
von: Gu, Zihan, et al.
Veröffentlicht: (2025)

Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking
von: Tian, Yuandong
Veröffentlicht: (2025)

Grokking Finite-Dimensional Algebra
von: Notsawo, Pascal Jr Tikeng, et al.
Veröffentlicht: (2026)

Grokking Group Multiplication with Cosets
von: Stander, Dashiell, et al.
Veröffentlicht: (2023)

Muon Optimizer Accelerates Grokking
von: Tveit, Amund, et al.
Veröffentlicht: (2025)

A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization
von: Manir, Shalima Binta, et al.
Veröffentlicht: (2026)

Explaining Grokking and Information Bottleneck through Neural Collapse Emergence
von: Sakamoto, Keitaro, et al.
Veröffentlicht: (2025)

When Data Falls Short: Grokking Below the Critical Threshold
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Deep Grokking: Would Deep Neural Networks Generalize Better?
von: Fan, Simin, et al.
Veröffentlicht: (2024)

Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
von: Miller, Jack, et al.
Veröffentlicht: (2023)

Grokfast: Accelerated Grokking by Amplifying Slow Gradients
von: Lee, Jaerin, et al.
Veröffentlicht: (2024)