Buchumschlag

When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Xu, Yongzhong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics of Training Trajectories: Signal--Noise Geometry Across Scales
von: Xu, Yongzhong
Veröffentlicht: (2026)

Attention Sinks and Outliers in Attention Residuals
von: Luo, Haozheng, et al.
Veröffentlicht: (2026)

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories
von: Xu, Yongzhong
Veröffentlicht: (2026)

When Attention Sink Emerges in Language Models: An Empirical View
von: Gu, Xiangming, et al.
Veröffentlicht: (2024)

Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
von: Chen, Yihong, et al.
Veröffentlicht: (2026)

On the Existence and Behavior of Secondary Attention Sinks
von: Wong, Jeffrey T. H., et al.
Veröffentlicht: (2025)

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin
von: Queipo-de-Llano, Enrique, et al.
Veröffentlicht: (2025)

Global Low-Rank, Local Full-Rank: The Holographic Encoding of Learned Algorithms
von: Xu, Yongzhong
Veröffentlicht: (2026)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics Reveal Functional Modes of Learning
von: Xu, Yongzhong
Veröffentlicht: (2026)

The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure
von: Xu, Yongzhong
Veröffentlicht: (2026)

Spectral Edge Dynamics: An Analytical-Empirical Study of Phase Transitions in Neural Network Training
von: Xu, Yongzhong
Veröffentlicht: (2026)

Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking
von: Xu, Yongzhong
Veröffentlicht: (2026)

Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
von: Xu, Yongzhong
Veröffentlicht: (2026)

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers
von: Adhikari, Rabin
Veröffentlicht: (2025)

The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity
von: Li, Siquan, et al.
Veröffentlicht: (2026)

Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings
von: Zhang, Stephen, et al.
Veröffentlicht: (2025)

Neuronal Attention Circuit (NAC) for Representation Learning
von: Razzaq, Waleed, et al.
Veröffentlicht: (2025)

Low-Dimensional Execution Manifolds in Transformer Learning Dynamics: Evidence from Modular Arithmetic Tasks
von: Xu, Yongzhong
Veröffentlicht: (2026)

Neuronal Stochastic Attention Circuit (NSAC) for Probabilistic Representation Learning
von: Razzaq, Waleed, et al.
Veröffentlicht: (2026)

Quantifying LLM Attention-Head Stability: Implications for Circuit Universality
von: Bali, Karan, et al.
Veröffentlicht: (2026)

Do Attention Heads Compete or Cooperate during Counting?
von: Zsámboki, Pál, et al.
Veröffentlicht: (2025)

GREAT-EER: Graph Edge Attention Network for Emergency Evacuation Responses
von: Lischka, Attila, et al.
Veröffentlicht: (2026)

Sparse Attention Decomposition Applied to Circuit Tracing
von: Franco, Gabriel, et al.
Veröffentlicht: (2024)

CIRCUIT: A Benchmark for Circuit Interpretation and Reasoning Capabilities of LLMs
von: Skelic, Lejla, et al.
Veröffentlicht: (2025)

Triple Attention Transformer Architecture for Time-Dependent Concrete Creep Prediction
von: Dokduea, Warayut, et al.
Veröffentlicht: (2025)

vAttention: Verified Sparse Attention
von: Desai, Aditya, et al.
Veröffentlicht: (2025)

Dynamic Sparse Attention: Access Patterns and Architecture
von: Levy, Noam
Veröffentlicht: (2026)

LATTLE: LLM Attention Transplant for Transfer Learning of Tabular Data Across Disparate Domains
von: Kowsar, Ibna, et al.
Veröffentlicht: (2025)

SETransformer: A Hybrid Attention-Based Architecture for Robust Human Activity Recognition
von: Liu, Yunbo, et al.
Veröffentlicht: (2025)

Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models
von: Duan, Jinhao, et al.
Veröffentlicht: (2023)

TrajAware: Graph Cross-Attention and Trajectory-Aware for Generalisable VANETs under Partial Observations
von: Fu, Xiaolu, et al.
Veröffentlicht: (2025)

WBHT: A Generative Attention Architecture for Detecting Black Hole Anomalies in Backbone Networks
von: Kaya, Kiymet, et al.
Veröffentlicht: (2025)

Attention Schema-based Attention Control (ASAC): A Cognitive-Inspired Approach for Attention Management in Transformers
von: Saxena, Krati, et al.
Veröffentlicht: (2025)

Attention on the Sphere
von: Bonev, Boris, et al.
Veröffentlicht: (2025)

SeerAttention-R: Sparse Attention Adaptation for Long Reasoning
von: Gao, Yizhao, et al.
Veröffentlicht: (2025)

Online Policy Distillation with Decision-Attention
von: Yu, Xinqiang, et al.
Veröffentlicht: (2024)

Class-Discriminative Attention Maps for Vision Transformers
von: Brocki, Lennart, et al.
Veröffentlicht: (2023)