Buchumschlag

The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Xu, Yongzhong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
von: Xu, Yongzhong
Veröffentlicht: (2026)

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics of Training Trajectories: Signal--Noise Geometry Across Scales
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics: An Analytical-Empirical Study of Phase Transitions in Neural Network Training
von: Xu, Yongzhong
Veröffentlicht: (2026)

Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
von: Verma, Lucky
Veröffentlicht: (2026)

Low-Dimensional Execution Manifolds in Transformer Learning Dynamics: Evidence from Modular Arithmetic Tasks
von: Xu, Yongzhong
Veröffentlicht: (2026)

Global Low-Rank, Local Full-Rank: The Holographic Encoding of Learned Algorithms
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics Reveal Functional Modes of Learning
von: Xu, Yongzhong
Veröffentlicht: (2026)

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
von: Xu, Yongzhong
Veröffentlicht: (2026)

When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures
von: Xu, Yongzhong
Veröffentlicht: (2026)

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold
von: Musat, Tiberiu
Veröffentlicht: (2025)

Progress Measures for Grokking on Real-world Tasks
von: Golechha, Satvik
Veröffentlicht: (2024)

Understanding Emergent Misalignment via Feature Superposition Geometry
von: Minegishi, Gouki, et al.
Veröffentlicht: (2026)

The Lifecycle of the Spectral Edge: From Gradient Learning to Weight-Decay Compression
von: Xu, Yongzhong
Veröffentlicht: (2026)

Topological Signatures of Grokking
von: Tang, Yifan, et al.
Veröffentlicht: (2026)

Grokking as Structural Inference: Transformers Need Bayesian Lottery Tickets
von: Hidajat, Kai, et al.
Veröffentlicht: (2026)

Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking
von: Lyu, Kaifeng, et al.
Veröffentlicht: (2023)

Spectral Superposition: A Theory of Feature Geometry
von: Ivanov, Georgi, et al.
Veröffentlicht: (2026)

Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold
von: Acharya, Pratyush, et al.
Veröffentlicht: (2026)

Grokking in Linear Models for Logistic Regression
von: Das, Nataraj, et al.
Veröffentlicht: (2026)

Grokking Explained: A Statistical Phenomenon
von: Carvalho, Breno W., et al.
Veröffentlicht: (2025)

Controlling Grokking with Nonlinearity and Data Symmetry
von: Salah, Ahmed, et al.
Veröffentlicht: (2024)

Theoretical Analysis of Sparse Optimization with Reparameterization, Weight Decay, and Adaptive Learning Rate
von: Xu, Huangyu, et al.
Veröffentlicht: (2026)

Grokfast: Accelerated Grokking by Amplifying Slow Gradients
von: Lee, Jaerin, et al.
Veröffentlicht: (2024)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

RanDeS: Randomized Delta Superposition for Multi-Model Compression
von: Zhou, Hangyu, et al.
Veröffentlicht: (2025)

Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation
von: Salah, Ahmed, et al.
Veröffentlicht: (2025)

NeuralGrok: Accelerate Grokking by Neural Gradient Transformation
von: Zhou, Xinyu, et al.
Veröffentlicht: (2025)

Grokking Finite-Dimensional Algebra
von: Notsawo, Pascal Jr Tikeng, et al.
Veröffentlicht: (2026)

Grokking Group Multiplication with Cosets
von: Stander, Dashiell, et al.
Veröffentlicht: (2023)

Muon Optimizer Accelerates Grokking
von: Tveit, Amund, et al.
Veröffentlicht: (2025)

On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective
von: Xie, Zeke, et al.
Veröffentlicht: (2020)

Superposition in Graph Neural Networks
von: Pertl, Lukas, et al.
Veröffentlicht: (2025)

Sparsity and Superposition in Mixture of Experts
von: Chaudhari, Marmik, et al.
Veröffentlicht: (2025)

Mathematical Models of Computation in Superposition
von: Hänni, Kaarel, et al.
Veröffentlicht: (2024)

Structural Instability of Feature Composition
von: Zhou, Yunpeng
Veröffentlicht: (2026)

Grokking and Generalization Collapse: Insights from \texttt{HTSR} theory
von: Prakash, Hari K., et al.
Veröffentlicht: (2025)