Buchumschlag

BatchTopK Sparse Autoencoders

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bussmann, Bart, Leask, Patrick, Nanda, Neel
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sparse Autoencoders Do Not Find Canonical Units of Analysis
von: Leask, Patrick, et al.
Veröffentlicht: (2025)

Learning Multi-Level Features with Matryoshka Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2025)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2025)

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
von: Jiang, Nick, et al.
Veröffentlicht: (2025)

Minimal and Mechanistic Conditions for Behavioral Self-Awareness in LLMs
von: Bozoukov, Matthew, et al.
Veröffentlicht: (2025)

Improving Dictionary Learning with Gated Sparse Autoencoders
von: Rajamanoharan, Senthooran, et al.
Veröffentlicht: (2024)

AbsTopK: Rethinking Sparse Autoencoders For Bidirectional Features
von: Zhu, Xudong, et al.
Veröffentlicht: (2025)

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
von: Poduval, Prathyush, et al.
Veröffentlicht: (2026)

Inference-Time Decomposition of Activations (ITDA): A Scalable Approach to Interpreting Large Language Models
von: Leask, Patrick, et al.
Veröffentlicht: (2025)

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2
von: Lieberum, Tom, et al.
Veröffentlicht: (2024)

Explorations of Self-Repair in Language Models
von: Rushing, Cody, et al.
Veröffentlicht: (2024)

Towards Best Practices of Activation Patching in Language Models: Metrics and Methods
von: Zhang, Fred, et al.
Veröffentlicht: (2023)

Bidirectional Variational Autoencoders
von: Kosko, Bart, et al.
Veröffentlicht: (2025)

Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control
von: Makelov, Aleksandar, et al.
Veröffentlicht: (2024)

Convergent Linear Representations of Emergent Misalignment
von: Soligo, Anna, et al.
Veröffentlicht: (2025)

Sparse Autoencoders, Again?
von: Lu, Yin, et al.
Veröffentlicht: (2025)

Are Sparse Autoencoder Benchmarks Reliable?
von: Chanin, David
Veröffentlicht: (2026)

Model Organisms for Emergent Misalignment
von: Turner, Edward, et al.
Veröffentlicht: (2025)

Understanding Reasoning in Thinking Language Models via Steering Vectors
von: Venhoff, Constantin, et al.
Veröffentlicht: (2025)

Base Models Know How to Reason, Thinking Models Learn When
von: Venhoff, Constantin, et al.
Veröffentlicht: (2025)

Improving Sparse Autoencoder with Dynamic Attention
von: Wang, Dongsheng, et al.
Veröffentlicht: (2026)

Decoding as Optimisation on the Probability Simplex: From Top-K to Top-P (Nucleus) to Best-of-K Samplers
von: Ji, Xiaotong, et al.
Veröffentlicht: (2026)

Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models
von: Ferrando, Javier, et al.
Veröffentlicht: (2024)

Adaptive Sparse Allocation with Mutual Choice & Feature Choice Sparse Autoencoders
von: Ayonrinde, Kola
Veröffentlicht: (2024)

Empirical Evaluation of Progressive Coding for Sparse Autoencoders
von: Peter, Hans, et al.
Veröffentlicht: (2025)

Do Sparse Autoencoders Capture Concept Manifolds?
von: Bhalla, Usha, et al.
Veröffentlicht: (2026)

On the transferability of Sparse Autoencoders for interpreting compressed models
von: Gupte, Suchit, et al.
Veröffentlicht: (2025)

Data Whitening Improves Sparse Autoencoder Learning
von: Saraswatula, Ashwin, et al.
Veröffentlicht: (2025)

Improving Robustness In Sparse Autoencoders via Masked Regularization
von: Narayanaswamy, Vivek, et al.
Veröffentlicht: (2026)

Evaluating and Designing Sparse Autoencoders by Approximating Quasi-Orthogonality
von: Lee, Sewoong, et al.
Veröffentlicht: (2025)

Graph-Regularized Sparse Autoencoders for LLM Safety Steering
von: Yeon, Jehyeok, et al.
Veröffentlicht: (2025)

Thought Branches: Interpreting LLM Reasoning Requires Resampling
von: Macar, Uzay, et al.
Veröffentlicht: (2025)

Thought Anchors: Which LLM Reasoning Steps Matter?
von: Bogdan, Paul C., et al.
Veröffentlicht: (2025)

Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
von: Karvonen, Adam, et al.
Veröffentlicht: (2024)

Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder
von: Xu, Zhen, et al.
Veröffentlicht: (2025)

Projecting Assumptions: The Duality Between Sparse Autoencoders and Concept Geometry
von: Hindupur, Sai Sumedh R., et al.
Veröffentlicht: (2025)

Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
von: Khoriaty, Matthew, et al.
Veröffentlicht: (2025)

Interpreting Attention Layer Outputs with Sparse Autoencoders
von: Kissane, Connor, et al.
Veröffentlicht: (2024)

What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
von: Maar, Jim, et al.
Veröffentlicht: (2026)

Scaling sparse feature circuit finding for in-context learning
von: Kharlapenko, Dmitrii, et al.
Veröffentlicht: (2025)