Buchumschlag

From Memorization to Reasoning in the Spectrum of Loss Curvature

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Merullo, Jack, Vatsavaya, Srihita, Bushnaq, Lucius, Lewis, Owen
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought
von: Boppana, Siddharth, et al.
Veröffentlicht: (2026)

Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
von: Chrisman, Brianna, et al.
Veröffentlicht: (2025)

Circuit Component Reuse Across Tasks in Transformer Language Models
von: Merullo, Jack, et al.
Veröffentlicht: (2023)

Language Models Implement Simple Word2Vec-style Vector Arithmetic
von: Merullo, Jack, et al.
Veröffentlicht: (2023)

I Have No Mouth, and I Must Rhyme: Uncovering Internal Phonetic Representations in LLaMA 3.2
von: McLaughlin, Oliver, et al.
Veröffentlicht: (2025)

Localizing Paragraph Memorization in Language Models
von: Stoehr, Niklas, et al.
Veröffentlicht: (2024)

Transferring Linear Features Across Language Models With Model Stitching
von: Chen, Alan, et al.
Veröffentlicht: (2025)

Dual Process Learning: Controlling Use of In-Context vs. In-Weights Strategies with Weight Forgetting
von: Anand, Suraj, et al.
Veröffentlicht: (2024)

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
von: Bigelow, Eric, et al.
Veröffentlicht: (2026)

Reason to Rote: Rethinking Memorization in Reasoning
von: Du, Yupei, et al.
Veröffentlicht: (2025)

Stochastic Parameter Decomposition
von: Bushnaq, Lucius, et al.
Veröffentlicht: (2025)

$100K or 100 Days: Trade-offs when Pre-Training with Academic Resources
von: Khandelwal, Apoorv, et al.
Veröffentlicht: (2024)

Memorization vs. Reasoning: Updating LLMs with New Knowledge
von: Li, Aochong Oliver, et al.
Veröffentlicht: (2025)

Interpretability in Parameter Space: Minimizing Mechanistic Description Length with Attribution-based Parameter Decomposition
von: Braun, Dan, et al.
Veröffentlicht: (2025)

Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
von: Wu, Mingqi, et al.
Veröffentlicht: (2025)

Using Degeneracy in the Loss Landscape for Mechanistic Interpretability
von: Bushnaq, Lucius, et al.
Veröffentlicht: (2024)

Language Models as Causal Effect Generators
von: Bynum, Lucius E. J., et al.
Veröffentlicht: (2024)

Demystifying Verbatim Memorization in Large Language Models
von: Huang, Jing, et al.
Veröffentlicht: (2024)

Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
von: King, Jack, et al.
Veröffentlicht: (2026)

Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs
von: Lou, Siyu, et al.
Veröffentlicht: (2024)

A Lightweight Method to Disrupt Memorized Sequences in LLM
von: Prashant, Parjanya Prajakta, et al.
Veröffentlicht: (2025)

Rethinking LLM Memorization through the Lens of Adversarial Compression
von: Schwarzschild, Avi, et al.
Veröffentlicht: (2024)

Memorization in In-Context Learning
von: Golchin, Shahriar, et al.
Veröffentlicht: (2024)

FictionalQA: A Dataset for Studying Memorization and Knowledge Acquisition
von: Kirchenbauer, John, et al.
Veröffentlicht: (2025)

Hubble: a Model Suite to Advance the Study of LLM Memorization
von: Wei, Johnny Tian-Zheng, et al.
Veröffentlicht: (2025)

Mitigating Memorization In Language Models
von: Sakarvadia, Mansi, et al.
Veröffentlicht: (2024)

Elephants Never Forget: Testing Language Models for Memorization of Tabular Data
von: Bordt, Sebastian, et al.
Veröffentlicht: (2024)

Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning
von: Bi, Jiaxi, et al.
Veröffentlicht: (2026)

Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
von: Ye, Jiayuan, et al.
Veröffentlicht: (2026)

Memorization: A Close Look at Books
von: Ma, Iris, et al.
Veröffentlicht: (2025)

Titans: Learning to Memorize at Test Time
von: Behrouz, Ali, et al.
Veröffentlicht: (2024)

Memorization Dynamics of Fill-in-the-Middle Pretraining
von: von Arx, Tobias, et al.
Veröffentlicht: (2026)

Detecting Memorization in Large Language Models
von: Slonski, Eduardo
Veröffentlicht: (2024)

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning
von: Udsa, Tinnakit, et al.
Veröffentlicht: (2025)

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs
von: Yan, Lecheng, et al.
Veröffentlicht: (2026)

Evaluating the Robustness of Analogical Reasoning in Large Language Models
von: Lewis, Martha, et al.
Veröffentlicht: (2024)

Transformer See, Transformer Do: Copying as an Intermediate Step in Learning Analogical Reasoning
von: Hellwig, Philipp, et al.
Veröffentlicht: (2026)

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
von: Xiong, Alexander, et al.
Veröffentlicht: (2025)

Exploring Memorization in Fine-tuned Language Models
von: Zeng, Shenglai, et al.
Veröffentlicht: (2023)

Skewed Memorization in Large Language Models: Quantification and Decomposition
von: Li, Hao, et al.
Veröffentlicht: (2025)