Copertina

Interpreting Attention Layer Outputs with Sparse Autoencoders

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kissane, Connor, Krzyzanowski, Robert, Bloom, Joseph Isaac, Conmy, Arthur, Nanda, Neel
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Chain-of-Thought Reasoning In The Wild Is Not Always Faithful
di: Arcuschin, Iván, et al.
Pubblicazione: (2025)

Jumping Ahead: Improving Reconstruction Fidelity with JumpReLU Sparse Autoencoders
di: Rajamanoharan, Senthooran, et al.
Pubblicazione: (2024)

Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control
di: Makelov, Aleksandar, et al.
Pubblicazione: (2024)

Improving Dictionary Learning with Gated Sparse Autoencoders
di: Rajamanoharan, Senthooran, et al.
Pubblicazione: (2024)

SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability
di: Karvonen, Adam, et al.
Pubblicazione: (2025)

BatchTopK Sparse Autoencoders
di: Bussmann, Bart, et al.
Pubblicazione: (2024)

Sparse Autoencoders Do Not Find Canonical Units of Analysis
di: Leask, Patrick, et al.
Pubblicazione: (2025)

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
di: Jiang, Nick, et al.
Pubblicazione: (2025)

Improving Steering Vectors by Targeting Sparse Autoencoder Features
di: Chalnev, Sviatoslav, et al.
Pubblicazione: (2024)

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2
di: Lieberum, Tom, et al.
Pubblicazione: (2024)

Thought Anchors: Which LLM Reasoning Steps Matter?
di: Bogdan, Paul C., et al.
Pubblicazione: (2025)

Understanding Reasoning in Thinking Language Models via Steering Vectors
di: Venhoff, Constantin, et al.
Pubblicazione: (2025)

Base Models Know How to Reason, Thinking Models Learn When
di: Venhoff, Constantin, et al.
Pubblicazione: (2025)

Scaling sparse feature circuit finding for in-context learning
di: Kharlapenko, Dmitrii, et al.
Pubblicazione: (2025)

Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
di: Karvonen, Adam, et al.
Pubblicazione: (2024)

Learning Multi-Level Features with Matryoshka Sparse Autoencoders
di: Bussmann, Bart, et al.
Pubblicazione: (2025)

Simple LLM Baselines are Competitive for Model Diffing
di: Kempf, Elias, et al.
Pubblicazione: (2026)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
di: Kantamneni, Subhash, et al.
Pubblicazione: (2025)

Eliciting Secret Knowledge from Language Models
di: Cywiński, Bartosz, et al.
Pubblicazione: (2025)

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
di: Poduval, Prathyush, et al.
Pubblicazione: (2026)

Building Production-Ready Probes For Gemini
di: Kramár, János, et al.
Pubblicazione: (2026)

Transcoders Find Interpretable LLM Feature Circuits
di: Dunefsky, Jacob, et al.
Pubblicazione: (2024)

Inference-Time Decomposition of Activations (ITDA): A Scalable Approach to Interpreting Large Language Models
di: Leask, Patrick, et al.
Pubblicazione: (2025)

How to use and interpret activation patching
di: Heimersheim, Stefan, et al.
Pubblicazione: (2024)

Transcoders Beat Sparse Autoencoders for Interpretability
di: Paulo, Gonçalo, et al.
Pubblicazione: (2025)

Interpretable Reward Model via Sparse Autoencoder
di: Zhang, Shuyi, et al.
Pubblicazione: (2025)

Interpreting Large Text-to-Image Diffusion Models with Dictionary Learning
di: Shabalin, Stepan, et al.
Pubblicazione: (2025)

Open Problems in Mechanistic Interpretability
di: Sharkey, Lee, et al.
Pubblicazione: (2025)

Improving Sparse Autoencoder with Dynamic Attention
di: Wang, Dongsheng, et al.
Pubblicazione: (2026)

Step-Level Sparse Autoencoder for Reasoning Process Interpretation
di: Yang, Xuan, et al.
Pubblicazione: (2026)

Route Sparse Autoencoder to Interpret Large Language Models
di: Shi, Wei, et al.
Pubblicazione: (2025)

Automatically Finding Reward Model Biases
di: Wang, Atticus, et al.
Pubblicazione: (2026)

Thought Branches: Interpreting LLM Reasoning Requires Resampling
di: Macar, Uzay, et al.
Pubblicazione: (2025)

Explorations of Self-Repair in Language Models
di: Rushing, Cody, et al.
Pubblicazione: (2024)

Towards Best Practices of Activation Patching in Language Models: Metrics and Methods
di: Zhang, Fred, et al.
Pubblicazione: (2023)

Difficulties with Evaluating a Deception Detector for AIs
di: Smith, Lewis, et al.
Pubblicazione: (2025)

Enhancing Neural Network Interpretability with Feature-Aligned Sparse Autoencoders
di: Marks, Luke, et al.
Pubblicazione: (2024)

Group Equivariance Meets Mechanistic Interpretability: Equivariant Sparse Autoencoders
di: Erdogan, Ege, et al.
Pubblicazione: (2025)

Transformer Key-Value Memories Are Nearly as Interpretable as Sparse Autoencoders
di: Ye, Mengyu, et al.
Pubblicazione: (2025)

Overcoming Sparsity Artifacts in Crosscoders to Interpret Chat-Tuning
di: Minder, Julian, et al.
Pubblicazione: (2025)