Buchumschlag

Algorithmic Phase Transitions in Language Models: A Mechanistic Case Study of Arithmetic

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Alan, Sun, Ethan, Shepard, Warren
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Language Models Grow Less Humanlike beyond Phase Transition
von: Aoyama, Tatsuya, et al.
Veröffentlicht: (2025)

Probing for Arithmetic Errors in Language Models
von: Sun, Yucheng, et al.
Veröffentlicht: (2025)

Circuit Stability Characterizes Language Model Generalization
von: Sun, Alan
Veröffentlicht: (2025)

Tracking Equivalent Mechanistic Interpretations Across Neural Networks
von: Sun, Alan, et al.
Veröffentlicht: (2026)

The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It
von: Bertolazzi, Leonardo, et al.
Veröffentlicht: (2025)

A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity
von: Lee, Andrew, et al.
Veröffentlicht: (2024)

Let's Think Var-by-Var: Large Language Models Enable Ad Hoc Probabilistic Reasoning
von: Xia, Shepard, et al.
Veröffentlicht: (2024)

Phase Transitions in Large Language Models and the $O(N)$ Model
von: Sun, Youran, et al.
Veröffentlicht: (2025)

Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization
von: Zhang, Weixu, et al.
Veröffentlicht: (2026)

Language Models can Self-Improve at State-Value Estimation for Better Search
von: Mendes, Ethan, et al.
Veröffentlicht: (2025)

On Representational Dissociation of Language and Arithmetic in Large Language Models
von: Kisako, Riku, et al.
Veröffentlicht: (2025)

Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures
von: Wang, Junxuan, et al.
Veröffentlicht: (2024)

Language Models are Symbolic Learners in Arithmetic
von: Deng, Chunyuan, et al.
Veröffentlicht: (2024)

Steering Language Models with Weight Arithmetic
von: Fierro, Constanza, et al.
Veröffentlicht: (2025)

Interpreting and Improving Large Language Models in Arithmetic Calculation
von: Zhang, Wei, et al.
Veröffentlicht: (2024)

Controlled Text Generation via Language Model Arithmetic
von: Dekoninck, Jasper, et al.
Veröffentlicht: (2023)

Anchoring Bias in Large Language Models: An Experimental Study
von: Lou, Jiaxu, et al.
Veröffentlicht: (2024)

Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study
von: Ma, Bolei, et al.
Veröffentlicht: (2024)

Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics
von: Nikankin, Yaniv, et al.
Veröffentlicht: (2024)

Anticipatory Evaluation of Language Models
von: Park, Jungsoo, et al.
Veröffentlicht: (2025)

Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs?
von: Sun, Kai, et al.
Veröffentlicht: (2023)

Self-training Language Models for Arithmetic Reasoning
von: Kadlčík, Marek, et al.
Veröffentlicht: (2024)

Arithmetic with Language Models: from Memorization to Computation
von: Maltoni, Davide, et al.
Veröffentlicht: (2023)

Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective
von: Sun, Zhongxiang, et al.
Veröffentlicht: (2025)

How Emotion Shapes the Behavior of LLMs and Agents: A Mechanistic Study
von: Sun, Moran, et al.
Veröffentlicht: (2026)

Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization
von: Wang, Boshi, et al.
Veröffentlicht: (2024)

Mechanistic Indicators of Steering Effectiveness in Large Language Models
von: Jafari, Mehdi, et al.
Veröffentlicht: (2026)

Evidence of Phase Transitions in Small Transformer-Based Language Models
von: Hong, Noah, et al.
Veröffentlicht: (2025)

Mechanistic Behavior Editing of Language Models
von: Singh, Joykirat, et al.
Veröffentlicht: (2024)

CTP-LLM: Clinical Trial Phase Transition Prediction Using Large Language Models
von: Reinisch, Michael, et al.
Veröffentlicht: (2024)

MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic
von: Zhou, Yuyan, et al.
Veröffentlicht: (2024)

The Mechanistic Emergence of Symbol Grounding in Language Models
von: Wu, Shuyu, et al.
Veröffentlicht: (2025)

Mechanistic Circuit-Based Knowledge Editing in Large Language Models
von: Zhao, Tianyi, et al.
Veröffentlicht: (2026)

Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models
von: Pham, Minh Vu, et al.
Veröffentlicht: (2026)

Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models
von: Nie, Ercong, et al.
Veröffentlicht: (2025)

Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models
von: Shi, Dan, et al.
Veröffentlicht: (2026)

Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation
von: Gurgurov, Daniil, et al.
Veröffentlicht: (2025)

Generalization or Memorization? Brittleness Testing for Chess-Trained Language Models
von: Tang, Ethan
Veröffentlicht: (2026)

Interpreting Arithmetic Mechanism in Large Language Models through Comparative Neuron Analysis
von: Yu, Zeping, et al.
Veröffentlicht: (2024)

Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models
von: Lasnier, Théo, et al.
Veröffentlicht: (2026)