Buchumschlag

Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lyu, Kaifeng, Jin, Jikai, Li, Zhiyuan, Du, Simon S., Lee, Jason D., Hu, Wei
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Data Mixing Can Induce Phase Transitions in Knowledge Acquisition
von: Gu, Xinran, et al.
Veröffentlicht: (2025)

Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking
von: Tian, Yuandong
Veröffentlicht: (2025)

The Power of Power Law: Asymmetry Enables Compositional Reasoning
von: Wang, Zixuan, et al.
Veröffentlicht: (2026)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
von: Xu, Yongzhong
Veröffentlicht: (2026)

Grokfast: Accelerated Grokking by Amplifying Slow Gradients
von: Lee, Jaerin, et al.
Veröffentlicht: (2024)

Grokking From Abstraction to Intelligence
von: Zhang, Junjie, et al.
Veröffentlicht: (2026)

Topological Signatures of Grokking
von: Tang, Yifan, et al.
Veröffentlicht: (2026)

Is Grokking Worthwhile? Functional Analysis and Transferability of Generalization Circuits in Transformers
von: He, Kaiyu, et al.
Veröffentlicht: (2026)

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment
von: Yang, Zhiqin, et al.
Veröffentlicht: (2026)

What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
von: Ekbote, Chanakya, et al.
Veröffentlicht: (2025)

"The Dentist is an involved parent, the bartender is not": Revealing Implicit Biases in QA with Implicit BBQ
von: Wagh, Aarushi, et al.
Veröffentlicht: (2025)

Provable Reward-Agnostic Preference-Based Reinforcement Learning
von: Zhan, Wenhao, et al.
Veröffentlicht: (2023)

The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure
von: Xu, Yongzhong
Veröffentlicht: (2026)

Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold
von: Acharya, Pratyush, et al.
Veröffentlicht: (2026)

Learning Causal Representations from General Environments: Identifiability and Intrinsic Ambiguity
von: Jin, Jikai, et al.
Veröffentlicht: (2023)

Aligning Deep Implicit Preferences by Learning to Reason Defensively
von: Li, Peiming, et al.
Veröffentlicht: (2025)

Grokking as Dimensional Phase Transition in Neural Networks
von: Wang, Ping
Veröffentlicht: (2026)

Grokking Explained: A Statistical Phenomenon
von: Carvalho, Breno W., et al.
Veröffentlicht: (2025)

Grokking in Linear Models for Logistic Regression
von: Das, Nataraj, et al.
Veröffentlicht: (2026)

Controlling Grokking with Nonlinearity and Data Symmetry
von: Salah, Ahmed, et al.
Veröffentlicht: (2024)

Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning
von: Zhao, Weiye, et al.
Veröffentlicht: (2024)

AI Will Always Love You: Studying Implicit Biases in Romantic AI Companions
von: Grogan, Clare, et al.
Veröffentlicht: (2025)

Grokking as a Falsifiable Finite-Size Transition
von: Bi, Yuda, et al.
Veröffentlicht: (2026)

Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice
von: Wang, Jiachen T., et al.
Veröffentlicht: (2025)

Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
von: Kim, Juno, et al.
Veröffentlicht: (2025)

Grokking Group Multiplication with Cosets
von: Stander, Dashiell, et al.
Veröffentlicht: (2023)

Grokking Finite-Dimensional Algebra
von: Notsawo, Pascal Jr Tikeng, et al.
Veröffentlicht: (2026)

Muon Optimizer Accelerates Grokking
von: Tveit, Amund, et al.
Veröffentlicht: (2025)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

Progress Measures for Grokking on Real-world Tasks
von: Golechha, Satvik
Veröffentlicht: (2024)

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
von: Liu, Zhihan, et al.
Veröffentlicht: (2024)

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
von: Mor-Lan, Guy, et al.
Veröffentlicht: (2026)

A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
von: Luo, Kairong, et al.
Veröffentlicht: (2025)

Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation
von: Salah, Ahmed, et al.
Veröffentlicht: (2025)

Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold
von: Musat, Tiberiu
Veröffentlicht: (2025)

NeuralGrok: Accelerate Grokking by Neural Gradient Transformation
von: Zhou, Xinyu, et al.
Veröffentlicht: (2025)

The Geometric Inductive Bias of Grokking: Bypassing Phase Transitions via Architectural Topology
von: Yıldırım, Alper
Veröffentlicht: (2026)

Grokking at the Edge of Numerical Stability
von: Prieto, Lucas, et al.
Veröffentlicht: (2025)

OLion: Approaching the Hadamard Ideal by Intersecting Spectral and $\ell_{\infty}$ Implicit Biases
von: Wang, Zixiao, et al.
Veröffentlicht: (2026)