The Complexity Dynamics of Grokking
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | DeMoss, Branton, Sapora, Silvia, Foerster, Jakob, Hawes, Nick, Posner, Ingmar |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
DITTO: Offline Imitation Learning with World Models
par: DeMoss, Branton, et autres
Publié: (2023)
par: DeMoss, Branton, et autres
Publié: (2023)
LUMOS: Language-Conditioned Imitation Learning with World Models
par: Nematollahi, Iman, et autres
Publié: (2025)
par: Nematollahi, Iman, et autres
Publié: (2025)
Improving Regret Approximation for Unsupervised Dynamic Environment Generation
par: Mead, Harry, et autres
Publié: (2026)
par: Mead, Harry, et autres
Publié: (2026)
Meta-Learning Objectives for Preference Optimization
par: Alfano, Carlo, et autres
Publié: (2024)
par: Alfano, Carlo, et autres
Publié: (2024)
EvIL: Evolution Strategies for Generalisable Imitation Learning
par: Sapora, Silvia, et autres
Publié: (2024)
par: Sapora, Silvia, et autres
Publié: (2024)
Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs
par: Cook, Jonathan, et autres
Publié: (2025)
par: Cook, Jonathan, et autres
Publié: (2025)
No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery
par: Rutherford, Alexander, et autres
Publié: (2024)
par: Rutherford, Alexander, et autres
Publié: (2024)
SPARTAN: A Sparse Transformer World Model Attending to What Matters
par: Lei, Anson, et autres
Publié: (2024)
par: Lei, Anson, et autres
Publié: (2024)
Reward-Free Curricula for Training Robust World Models
par: Rigter, Marc, et autres
Publié: (2023)
par: Rigter, Marc, et autres
Publié: (2023)
Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention
par: Baumgartner, Markus W., et autres
Publié: (2026)
par: Baumgartner, Markus W., et autres
Publié: (2026)
Entropic Riemannian Neural Optimal Transport
par: Micheli, Alessandro, et autres
Publié: (2026)
par: Micheli, Alessandro, et autres
Publié: (2026)
World Models via Policy-Guided Trajectory Diffusion
par: Rigter, Marc, et autres
Publié: (2023)
par: Rigter, Marc, et autres
Publié: (2023)
Compete and Compose: Learning Independent Mechanisms for Modular World Models
par: Lei, Anson, et autres
Publié: (2024)
par: Lei, Anson, et autres
Publié: (2024)
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
par: Flynn, Hamish, et autres
Publié: (2026)
par: Flynn, Hamish, et autres
Publié: (2026)
To Grok Grokking: Provable Grokking in Ridge Regression
par: Xu, Mingyue, et autres
Publié: (2026)
par: Xu, Mingyue, et autres
Publié: (2026)
D-Cubed: Latent Diffusion Trajectory Optimisation for Dexterous Deformable Manipulation
par: Yamada, Jun, et autres
Publié: (2024)
par: Yamada, Jun, et autres
Publié: (2024)
Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
par: Miller, Jack, et autres
Publié: (2023)
par: Miller, Jack, et autres
Publié: (2023)
Learning mirror maps in policy mirror descent
par: Alfano, Carlo, et autres
Publié: (2024)
par: Alfano, Carlo, et autres
Publié: (2024)
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
par: Sapora, Silvia, et autres
Publié: (2025)
par: Sapora, Silvia, et autres
Publié: (2025)
COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping
par: Yamada, Jun, et autres
Publié: (2025)
par: Yamada, Jun, et autres
Publié: (2025)
Measuring Sharpness in Grokking
par: Miller, Jack, et autres
Publié: (2024)
par: Miller, Jack, et autres
Publié: (2024)
Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
par: Minegishi, Gouki, et autres
Publié: (2023)
par: Minegishi, Gouki, et autres
Publié: (2023)
Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
par: Xu, Yongzhong
Publié: (2026)
par: Xu, Yongzhong
Publié: (2026)
Grokked Models are Better Unlearners
par: Liang, Yuanbang, et autres
Publié: (2025)
par: Liang, Yuanbang, et autres
Publié: (2025)
XQC: Well-conditioned Optimization Accelerates Deep Reinforcement Learning
par: Palenicek, Daniel, et autres
Publié: (2025)
par: Palenicek, Daniel, et autres
Publié: (2025)
Topological Signatures of Grokking
par: Tang, Yifan, et autres
Publié: (2026)
par: Tang, Yifan, et autres
Publié: (2026)
Gaitor: Learning a Unified Representation Across Gaits for Real-World Quadruped Locomotion
par: Mitchell, Alexander L., et autres
Publié: (2024)
par: Mitchell, Alexander L., et autres
Publié: (2024)
JaxUED: A simple and useable UED library in Jax
par: Coward, Samuel, et autres
Publié: (2024)
par: Coward, Samuel, et autres
Publié: (2024)
XQCfD: Accelerating Fast Actor-Critic Algorithms with Prior Data and Prior Policies
par: Palenicek, Daniel, et autres
Publié: (2026)
par: Palenicek, Daniel, et autres
Publié: (2026)
Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards
par: Scherer, Christian, et autres
Publié: (2026)
par: Scherer, Christian, et autres
Publié: (2026)
Exploring Grokking: Experimental and Mechanistic Investigations
par: Qiye, Hu, et autres
Publié: (2024)
par: Qiye, Hu, et autres
Publié: (2024)
ILDR: Geometric Early Detection of Grokking
par: Golwala, Shreel
Publié: (2026)
par: Golwala, Shreel
Publié: (2026)
Monte Carlo Tree Search with Boltzmann Exploration
par: Painter, Michael, et autres
Publié: (2024)
par: Painter, Michael, et autres
Publié: (2024)
Return Capping: Sample-Efficient CVaR Policy Gradient Optimisation
par: Mead, Harry, et autres
Publié: (2025)
par: Mead, Harry, et autres
Publié: (2025)
Grokking as the Transition from Lazy to Rich Training Dynamics
par: Kumar, Tanishq, et autres
Publié: (2023)
par: Kumar, Tanishq, et autres
Publié: (2023)
Intrinsically Interpretable Attention via Sparse Post-Training
par: Draye, Florent, et autres
Publié: (2025)
par: Draye, Florent, et autres
Publié: (2025)
Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking
par: Tian, Yuandong
Publié: (2025)
par: Tian, Yuandong
Publié: (2025)
On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
par: He, Jianliang, et autres
Publié: (2026)
par: He, Jianliang, et autres
Publié: (2026)
Distributional Spectral Diagnostics for Localizing Grokking Transitions
par: Wang, Ziyue, et autres
Publié: (2026)
par: Wang, Ziyue, et autres
Publié: (2026)
GrokAlign: Geometric Characterisation and Acceleration of Grokking
par: Walker, Thomas, et autres
Publié: (2025)
par: Walker, Thomas, et autres
Publié: (2025)
Documents similaires
-
DITTO: Offline Imitation Learning with World Models
par: DeMoss, Branton, et autres
Publié: (2023) -
LUMOS: Language-Conditioned Imitation Learning with World Models
par: Nematollahi, Iman, et autres
Publié: (2025) -
Improving Regret Approximation for Unsupervised Dynamic Environment Generation
par: Mead, Harry, et autres
Publié: (2026) -
Meta-Learning Objectives for Preference Optimization
par: Alfano, Carlo, et autres
Publié: (2024) -
EvIL: Evolution Strategies for Generalisable Imitation Learning
par: Sapora, Silvia, et autres
Publié: (2024)