Buchumschlag

Grokked Models are Better Unlearners

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liang, Yuanbang, Li, Yang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

In-Context Unlearning: Language Models as Few Shot Unlearners
von: Pawelczyk, Martin, et al.
Veröffentlicht: (2023)

Deep Grokking: Would Deep Neural Networks Generalize Better?
von: Fan, Simin, et al.
Veröffentlicht: (2024)

Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning
von: Gu, Renjie, et al.
Veröffentlicht: (2026)

To Grok Grokking: Provable Grokking in Ridge Regression
von: Xu, Mingyue, et al.
Veröffentlicht: (2026)

The Complexity Dynamics of Grokking
von: DeMoss, Branton, et al.
Veröffentlicht: (2024)

Measuring Sharpness in Grokking
von: Miller, Jack, et al.
Veröffentlicht: (2024)

Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
von: Minegishi, Gouki, et al.
Veröffentlicht: (2023)

Grokking in Linear Models for Logistic Regression
von: Das, Nataraj, et al.
Veröffentlicht: (2026)

Grokking of Diffusion Models: Case Study on Modular Addition
von: Kim, Joon Hyeok, et al.
Veröffentlicht: (2026)

Topological Signatures of Grokking
von: Tang, Yifan, et al.
Veröffentlicht: (2026)

Exploring Grokking: Experimental and Mechanistic Investigations
von: Qiye, Hu, et al.
Veröffentlicht: (2024)

ILDR: Geometric Early Detection of Grokking
von: Golwala, Shreel
Veröffentlicht: (2026)

Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
von: Miller, Jack, et al.
Veröffentlicht: (2023)

Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
von: Li, Ziyue, et al.
Veröffentlicht: (2025)

Is Grokking a Computational Glass Relaxation?
von: Zhang, Xiaotian, et al.
Veröffentlicht: (2025)

Model Capacity Determines Grokking through Competing Memorisation and Generalisation Speeds
von: Song, Yiding, et al.
Veröffentlicht: (2026)

GrokAlign: Geometric Characterisation and Acceleration of Grokking
von: Walker, Thomas, et al.
Veröffentlicht: (2025)

Distributional Spectral Diagnostics for Localizing Grokking Transitions
von: Wang, Ziyue, et al.
Veröffentlicht: (2026)

A Basin-Selection Perspective on Grokking via Singular Learning Theory
von: Cullen, Ben, et al.
Veröffentlicht: (2026)

Grokking Explained: A Statistical Phenomenon
von: Carvalho, Breno W., et al.
Veröffentlicht: (2025)

Controlling Grokking with Nonlinearity and Data Symmetry
von: Salah, Ahmed, et al.
Veröffentlicht: (2024)

Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking
von: Gu, Zihan, et al.
Veröffentlicht: (2025)

Explaining Grokking in Transformers through the Lens of Inductive Bias
von: Singh, Jaisidh, et al.
Veröffentlicht: (2026)

Grokking Beyond the Euclidean Norm of Model Parameters
von: Notsawo, Pascal Jr Tikeng, et al.
Veröffentlicht: (2025)

Muon Optimizer Accelerates Grokking
von: Tveit, Amund, et al.
Veröffentlicht: (2025)

Grokking Finite-Dimensional Algebra
von: Notsawo, Pascal Jr Tikeng, et al.
Veröffentlicht: (2026)

Grokking Group Multiplication with Cosets
von: Stander, Dashiell, et al.
Veröffentlicht: (2023)

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
von: Muckatira, Sherin, et al.
Veröffentlicht: (2026)

Why Do You Grok? A Theoretical Analysis of Grokking Modular Addition
von: Mohamadi, Mohamad Amin, et al.
Veröffentlicht: (2024)

Explaining Grokking and Information Bottleneck through Neural Collapse Emergence
von: Sakamoto, Keitaro, et al.
Veröffentlicht: (2025)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking
von: Han, Ting, et al.
Veröffentlicht: (2025)

When Data Falls Short: Grokking Below the Critical Threshold
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Mechanistic Insights into Grokking from the Embedding Layer
von: AlquBoj, H. V., et al.
Veröffentlicht: (2025)

Grokfast: Accelerated Grokking by Amplifying Slow Gradients
von: Lee, Jaerin, et al.
Veröffentlicht: (2024)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Progress Measures for Grokking on Real-world Tasks
von: Golechha, Satvik
Veröffentlicht: (2024)

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
von: He, Jianliang, et al.
Veröffentlicht: (2026)

What Can Grokking Teach Us About Learning Under Nonstationarity?
von: Lyle, Clare, et al.
Veröffentlicht: (2025)

A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization
von: Manir, Shalima Binta, et al.
Veröffentlicht: (2026)