Buchumschlag

CSP-Atlas: Concept-Specific Neural Circuits in a Sparse Python Transformer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Wilam, Piotr
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs
von: Nawrot, Piotr, et al.
Veröffentlicht: (2025)

Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
von: Piękos, Piotr, et al.
Veröffentlicht: (2025)

AlignSAE: Concept-Aligned Sparse Autoencoders
von: Yang, Minglai, et al.
Veröffentlicht: (2025)

Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
von: Karvonen, Adam, et al.
Veröffentlicht: (2024)

Visual Exploration of Feature Relationships in Sparse Autoencoders with Curated Concepts
von: Yan, Xinyuan, et al.
Veröffentlicht: (2025)

Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models
von: O'Neill, Charles, et al.
Veröffentlicht: (2024)

Sparse Attention Decomposition Applied to Circuit Tracing
von: Franco, Gabriel, et al.
Veröffentlicht: (2024)

Use Sparse Autoencoders to Discover Unknown Concepts, Not to Act on Known Concepts
von: Peng, Kenny, et al.
Veröffentlicht: (2025)

Circuit Component Reuse Across Tasks in Transformer Language Models
von: Merullo, Jack, et al.
Veröffentlicht: (2023)

Learning and Transferring Sparse Contextual Bigrams with Linear Transformers
von: Ren, Yunwei, et al.
Veröffentlicht: (2024)

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders
von: Li, Aaron J., et al.
Veröffentlicht: (2025)

From Sparse Dependence to Sparse Attention: Unveiling How Chain-of-Thought Enhances Transformer Sample Efficiency
von: Wen, Kaiyue, et al.
Veröffentlicht: (2024)

Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models
von: Mondorf, Philipp, et al.
Veröffentlicht: (2024)

Transformer Circuit Faithfulness Metrics are not Robust
von: Miller, Joseph, et al.
Veröffentlicht: (2024)

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
von: Huang, Yiran, et al.
Veröffentlicht: (2026)

From Indirect Object Identification to Syllogisms: Exploring Binary Mechanisms in Transformer Circuits
von: Saraipour, Karim, et al.
Veröffentlicht: (2025)

From Concepts to Components: Concept-Agnostic Attention Module Discovery in Transformers
von: Su, Jingtong, et al.
Veröffentlicht: (2025)

Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
von: Xiao, Liu
Veröffentlicht: (2026)

Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting
von: Zhang, Yifan, et al.
Veröffentlicht: (2023)

Do Sentence Transformers Learn Quasi-Geospatial Concepts from General Text?
von: Ilyankou, Ilya, et al.
Veröffentlicht: (2024)

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
von: Marks, Samuel, et al.
Veröffentlicht: (2024)

Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
von: Lou, Chao, et al.
Veröffentlicht: (2024)

Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
von: Wang, Junxuan, et al.
Veröffentlicht: (2025)

Transformers meet Neural Algorithmic Reasoners
von: Bounsi, Wilfried, et al.
Veröffentlicht: (2024)

Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
von: Joshi, Shruti, et al.
Veröffentlicht: (2025)

Judge Circuits
von: Feldhus, Nils, et al.
Veröffentlicht: (2026)

Sparse-IFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2023)

Automated SNOMED CT Concept Annotation in Clinical Text Using Bi-GRU Neural Networks
von: Noori, Ali, et al.
Veröffentlicht: (2025)

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models
von: Muhamed, Aashiq, et al.
Veröffentlicht: (2024)

Latent Concept Disentanglement in Transformer-based Language Models
von: Hong, Guan Zhe, et al.
Veröffentlicht: (2025)

Automatic Generation of Python Programs Using Context-Free Grammars
von: Yamani, Kamel, et al.
Veröffentlicht: (2024)

Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
von: Ahmad, Areeb, et al.
Veröffentlicht: (2025)

Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition
von: Hsu, Aliyah R., et al.
Veröffentlicht: (2024)

ComplexFormer: Disruptively Advancing Transformer Inference Ability via Head-Specific Complex Vector Attention
von: Shao, Jintian, et al.
Veröffentlicht: (2025)

SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention
von: Csordás, Róbert, et al.
Veröffentlicht: (2023)

How Powerful are Decoder-Only Transformer Neural Models?
von: Roberts, Jesse
Veröffentlicht: (2023)

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers
von: Adhikari, Rabin
Veröffentlicht: (2025)

MedConceptsQA: Open Source Medical Concepts QA Benchmark
von: Shoham, Ofir Ben, et al.
Veröffentlicht: (2024)

Circuit Complexity Bounds for RoPE-based Transformer Architecture
von: Chen, Bo, et al.
Veröffentlicht: (2024)

LangFIR: Discovering Sparse Language-Specific Features from Monolingual Data for Language Steering
von: Wong, Sing Hieng, et al.
Veröffentlicht: (2026)