Buchumschlag

Let Me Grok for You: Accelerating Grokking via Embedding Transfer from a Weaker Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Zhiwei, Ni, Zhiyu, Wang, Yixin, Hu, Wei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

To Grok Grokking: Provable Grokking in Ridge Regression
von: Xu, Mingyue, et al.
Veröffentlicht: (2026)

GrokAlign: Geometric Characterisation and Acceleration of Grokking
von: Walker, Thomas, et al.
Veröffentlicht: (2025)

NeuralGrok: Accelerate Grokking by Neural Gradient Transformation
von: Zhou, Xinyu, et al.
Veröffentlicht: (2025)

Why Do You Grok? A Theoretical Analysis of Grokking Modular Addition
von: Mohamadi, Mohamad Amin, et al.
Veröffentlicht: (2024)

Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding
von: Levi, Noam, et al.
Veröffentlicht: (2023)

Mechanistic Insights into Grokking from the Embedding Layer
von: AlquBoj, H. V., et al.
Veröffentlicht: (2025)

Muon Optimizer Accelerates Grokking
von: Tveit, Amund, et al.
Veröffentlicht: (2025)

Language Models "Grok" to Copy
von: Lv, Ang, et al.
Veröffentlicht: (2024)

Grokfast: Accelerated Grokking by Amplifying Slow Gradients
von: Lee, Jaerin, et al.
Veröffentlicht: (2024)

Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation
von: Park, Yeachan, et al.
Veröffentlicht: (2024)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024)

Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation
von: Salah, Ahmed, et al.
Veröffentlicht: (2025)

Grokked Models are Better Unlearners
von: Liang, Yuanbang, et al.
Veröffentlicht: (2025)

Latency-Response Theory Model: Evaluating Large Language Models via Response Accuracy and Chain-of-Thought Length
von: Xu, Zhiyu, et al.
Veröffentlicht: (2025)

Exploring Grokking: Experimental and Mechanistic Investigations
von: Qiye, Hu, et al.
Veröffentlicht: (2024)

Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
von: Minegishi, Gouki, et al.
Veröffentlicht: (2023)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
von: Xu, Yongzhong
Veröffentlicht: (2026)

The Complexity Dynamics of Grokking
von: DeMoss, Branton, et al.
Veröffentlicht: (2024)

Measuring Sharpness in Grokking
von: Miller, Jack, et al.
Veröffentlicht: (2024)

Topological Signatures of Grokking
von: Tang, Yifan, et al.
Veröffentlicht: (2026)

Towards Weaker Variance Assumptions for Stochastic Optimization
von: Alacaoglu, Ahmet, et al.
Veröffentlicht: (2025)

Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition
von: Huang, Yufei, et al.
Veröffentlicht: (2024)

Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking
von: Gu, Zihan, et al.
Veröffentlicht: (2025)

Grokking in Linear Models for Logistic Regression
von: Das, Nataraj, et al.
Veröffentlicht: (2026)

Scalable Text-Embedding-informed Cognitive Diagnosis of Large Language Models
von: Liu, Jia, et al.
Veröffentlicht: (2026)

Distributional Spectral Diagnostics for Localizing Grokking Transitions
von: Wang, Ziyue, et al.
Veröffentlicht: (2026)

Grokking of Diffusion Models: Case Study on Modular Addition
von: Kim, Joon Hyeok, et al.
Veröffentlicht: (2026)

Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking
von: Han, Ting, et al.
Veröffentlicht: (2025)

Let Go of Your Labels with Unsupervised Transfer
von: Gadetsky, Artyom, et al.
Veröffentlicht: (2024)

Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers
von: Ai, Guoguo, et al.
Veröffentlicht: (2024)

ILDR: Geometric Early Detection of Grokking
von: Golwala, Shreel
Veröffentlicht: (2026)

Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
von: Miller, Jack, et al.
Veröffentlicht: (2023)

A Basin-Selection Perspective on Grokking via Singular Learning Theory
von: Cullen, Ben, et al.
Veröffentlicht: (2026)

Let Models Speak Ciphers: Multiagent Debate through Embeddings
von: Pham, Chau, et al.
Veröffentlicht: (2023)

RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?
von: Sun, Yiyou, et al.
Veröffentlicht: (2025)

A Polynomial-time Algorithm for Online Sparse Linear Regression with Improved Regret Bound under Weaker Conditions
von: Li, Junfan, et al.
Veröffentlicht: (2025)

Arbitrary Time Information Modeling via Polynomial Approximation for Temporal Knowledge Graph Embedding
von: Fang, Zhiyu, et al.
Veröffentlicht: (2024)

Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking
von: Lyu, Kaifeng, et al.
Veröffentlicht: (2023)