Buchumschlag

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Poduval, Prathyush, Yeung, Calvin, Desai, Neel, Imani, Mohsen
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
von: Yeung, Calvin, et al.
Veröffentlicht: (2026)

Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures
von: Yeung, Calvin, et al.
Veröffentlicht: (2024)

Hyperdimensional Quantum Factorization
von: Poduval, Prathyush, et al.
Veröffentlicht: (2024)

Coupled Inference in Diffusion Models for Semantic Decomposition
von: Yeung, Calvin, et al.
Veröffentlicht: (2026)

Learning Multi-Level Features with Matryoshka Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2025)

BatchTopK Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2024)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2025)

Enabling Group Fairness in Graph Unlearning via Bi-level Debiasing
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit
von: Jiang, Nick, et al.
Veröffentlicht: (2025)

Generalized Holographic Reduced Representations
von: Yeung, Calvin, et al.
Veröffentlicht: (2024)

Explainable Differential Privacy-Hyperdimensional Computing for Balancing Privacy and Transparency in Additive Manufacturing Monitoring
von: Piran, Fardin Jalil, et al.
Veröffentlicht: (2024)

Improving Dictionary Learning with Gated Sparse Autoencoders
von: Rajamanoharan, Senthooran, et al.
Veröffentlicht: (2024)

GeoSAE: Geometric Prior-Guided Layer-Wise Sparse Autoencoder Annotation of Brain MRI Foundation Models
von: Nerrise, Favour, et al.
Veröffentlicht: (2026)

Sparse Autoencoders Do Not Find Canonical Units of Analysis
von: Leask, Patrick, et al.
Veröffentlicht: (2025)

FaithfulSAE: Towards Capturing Faithful Features with Sparse Autoencoders without External Dataset Dependencies
von: Cho, Seonglae, et al.
Veröffentlicht: (2025)

Sparse Autoencoders, Again?
von: Lu, Yin, et al.
Veröffentlicht: (2025)

Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing
von: Piran, Fardin Jalil, et al.
Veröffentlicht: (2024)

Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder
von: Xu, Zhen, et al.
Veröffentlicht: (2025)

Are Sparse Autoencoder Benchmarks Reliable?
von: Chanin, David
Veröffentlicht: (2026)

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2
von: Lieberum, Tom, et al.
Veröffentlicht: (2024)

NetHD: Neurally Inspired Integration of Communication and Learning in Hyperspace
von: Prathyush P. Poduval, et al.
Veröffentlicht: (2024)

Improving Sparse Autoencoder with Dynamic Attention
von: Wang, Dongsheng, et al.
Veröffentlicht: (2026)

ReCycle: Fast and Efficient Long Time Series Forecasting with Residual Cyclic Transformers
von: Weyrauch, Arvid, et al.
Veröffentlicht: (2024)

Forecasting the Ionosphere from Sparse GNSS Data with Temporal-Fusion Transformers
von: Acciarini, Giacomo, et al.
Veröffentlicht: (2025)

Adaptive Sparse Allocation with Mutual Choice & Feature Choice Sparse Autoencoders
von: Ayonrinde, Kola
Veröffentlicht: (2024)

LAuReL: Learned Augmented Residual Layer
von: Menghani, Gaurav, et al.
Veröffentlicht: (2024)

Do Sparse Autoencoders Capture Concept Manifolds?
von: Bhalla, Usha, et al.
Veröffentlicht: (2026)

Empirical Evaluation of Progressive Coding for Sparse Autoencoders
von: Peter, Hans, et al.
Veröffentlicht: (2025)

On the transferability of Sparse Autoencoders for interpreting compressed models
von: Gupte, Suchit, et al.
Veröffentlicht: (2025)

Data Whitening Improves Sparse Autoencoder Learning
von: Saraswatula, Ashwin, et al.
Veröffentlicht: (2025)

Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
von: Wild, Cody, et al.
Veröffentlicht: (2024)

Data Cartography for Detecting Memorization Hotspots and Guiding Data Interventions in Generative Models
von: Patel, Laksh, et al.
Veröffentlicht: (2025)

DeltaLLM: Compress LLMs with Low-Rank Deltas between Shared Weights
von: Mikaelyan, Liana, et al.
Veröffentlicht: (2025)

Improving Robustness In Sparse Autoencoders via Masked Regularization
von: Narayanaswamy, Vivek, et al.
Veröffentlicht: (2026)

Evaluating and Designing Sparse Autoencoders by Approximating Quasi-Orthogonality
von: Lee, Sewoong, et al.
Veröffentlicht: (2025)

Graph-Regularized Sparse Autoencoders for LLM Safety Steering
von: Yeon, Jehyeok, et al.
Veröffentlicht: (2025)

Projecting Assumptions: The Duality Between Sparse Autoencoders and Concept Geometry
von: Hindupur, Sai Sumedh R., et al.
Veröffentlicht: (2025)

Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
von: Khoriaty, Matthew, et al.
Veröffentlicht: (2025)

Generalized Graph Transformer Variational Autoencoder
von: Karki, Siddhant
Veröffentlicht: (2025)

Learning Retrieval Models with Sparse Autoencoders
von: Formal, Thibault, et al.
Veröffentlicht: (2026)