Image de couverture de livre

Disentangling Dense Embeddings with Sparse Autoencoders

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	O'Neill, Charles, Ye, Christine, Iyer, Kartheik, Wu, John F.
Format:	Preprint
Publié:	2024
Sujets:	Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models
par: O'Neill, Charles, et autres
Publié: (2024)

Compute Optimal Inference and Provable Amortisation Gap in Sparse Autoencoders
par: O'Neill, Charles, et autres
Publié: (2024)

Resurrecting the Salmon: Rethinking Mechanistic Interpretability with Domain-Specific Sparse Autoencoders
par: O'Neill, Charles, et autres
Publié: (2025)

Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures
par: O'Neill, Charles
Publié: (2025)

Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
par: Park, Seongwan, et autres
Publié: (2025)

Sketching the Heat Kernel: Using Gaussian Processes to Embed Data
par: Gilbert, Anna C., et autres
Publié: (2024)

Type 2 Tobit Sample Selection Models with Bayesian Additive Regression Trees
par: O'Neill, Eoghan
Publié: (2025)

Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
par: Miller, Jack, et autres
Publié: (2023)

Measuring Sharpness in Grokking
par: Miller, Jack, et autres
Publié: (2024)

From superposition to sparse codes: interpretable representations in neural networks
par: Klindt, David, et autres
Publié: (2025)

Modelling the Doughnut of social and planetary boundaries with frugal machine learning
par: Vrizzi, Stefano, et autres
Publié: (2025)

Re-envisioning Euclid Galaxy Morphology: Identifying and Interpreting Features with Sparse Autoencoders
par: Wu, John F., et autres
Publié: (2025)

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
par: Jiang, Nick, et autres
Publié: (2025)

A Single Direction of Truth: An Observer Model's Linear Residual Probe Exposes and Steers Contextual Hallucinations
par: O'Neill, Charles, et autres
Publié: (2025)

Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models
par: Kubaty, Piotr, et autres
Publié: (2026)

Low-Rank Key Value Attention
par: O'Neill, James, et autres
Publié: (2026)

Ensembling Sparse Autoencoders
par: Gadgil, Soham, et autres
Publié: (2025)

CA-PCA: Manifold Dimension Estimation, Adapted for Curvature
par: Gilbert, Anna C., et autres
Publié: (2023)

Transformer Key-Value Memories Are Nearly as Interpretable as Sparse Autoencoders
par: Ye, Mengyu, et autres
Publié: (2025)

Neighbor Embedding for High-Dimensional Sparse Poisson Data
par: Mudrik, Noga, et autres
Publié: (2026)

Steering Language Model Refusal with Sparse Autoencoders
par: O'Brien, Kyle, et autres
Publié: (2024)

Toward Identifiable Sparse Autoencoders
par: Nelson, Walter, et autres
Publié: (2026)

Analysis of Variational Sparse Autoencoders
par: Baker, Zachary, et autres
Publié: (2025)

Self-evolving Autoencoder Embedded Q-Network
par: Senthilnath, J., et autres
Publié: (2024)

Evaluating Open-Source Sparse Autoencoders on Disentangling Factual Knowledge in GPT-2 Small
par: Chaudhary, Maheep, et autres
Publié: (2024)

Adversarial Disentanglement by Backpropagation with Physics-Informed Variational Autoencoder
par: Koune, Ioannis Christoforos, et autres
Publié: (2025)

Disentanglement of Sources in a Multi-Stream Variational Autoencoder
par: Boukun, Veranika, et autres
Publié: (2025)

Sparse Autoencoders, Again?
par: Lu, Yin, et autres
Publié: (2025)

Training Superior Sparse Autoencoders for Instruct Models
par: Li, Jiaming, et autres
Publié: (2025)

Decomposing The Dark Matter of Sparse Autoencoders
par: Engels, Joshua, et autres
Publié: (2024)

Transcoders Beat Sparse Autoencoders for Interpretability
par: Paulo, Gonçalo, et autres
Publié: (2025)

Evaluating Sparse Autoencoders for Monosemantic Representation
par: Fereidouni, Moghis, et autres
Publié: (2025)

Disentangled Graph Autoencoder for Treatment Effect Estimation
par: Fan, Di, et autres
Publié: (2024)

Disentanglement with Factor Quantized Variational Autoencoders
par: Baykal, Gulcin, et autres
Publié: (2024)

Are Sparse Autoencoder Benchmarks Reliable?
par: Chanin, David
Publié: (2026)

Graph-Regularized Sparse Autoencoders for LLM Safety Steering
par: Yeon, Jehyeok, et autres
Publié: (2025)

Efficient Dictionary Learning with Switch Sparse Autoencoders
par: Mudide, Anish, et autres
Publié: (2024)

Interpreting Attention Layer Outputs with Sparse Autoencoders
par: Kissane, Connor, et autres
Publié: (2024)

Low-Rank Adapting Models for Sparse Autoencoders
par: Chen, Matthew, et autres
Publié: (2025)

Attribution-Guided Distillation of Matryoshka Sparse Autoencoders
par: Martin-Linares, Cristina P., et autres
Publié: (2025)