Copertina

The Rate-Distortion-Polysemanticity Tradeoff in SAEs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Mencattini, Tommaso, Montagna, Francesco, Locatello, Francesco
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Exploratory Causal Inference in SAEnce
di: Mencattini, Tommaso, et al.
Pubblicazione: (2025)

Causal Learning with the Invariance Principle
di: Montagna, Francesco, et al.
Pubblicazione: (2026)

Demystifying amortized causal discovery with transformers
di: Montagna, Francesco, et al.
Pubblicazione: (2024)

Score matching through the roof: linear, nonlinear, and latent variables causal discovery
di: Montagna, Francesco, et al.
Pubblicazione: (2024)

On the Identifiability of Causal Graphs with the Invariance Principle
di: Montagna, Francesco
Pubblicazione: (2025)

Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance
di: Bağcı, Doğukan, et al.
Pubblicazione: (2026)

Controlling Transient Amplification Improves Long-horizon Rollouts
di: Pervez, Adeel, et al.
Pubblicazione: (2026)

Optimal Neural Compressors for the Rate-Distortion-Perception Tradeoff
di: Lei, Eric, et al.
Pubblicazione: (2025)

Assumption violations in causal discovery and the robustness of score matching
di: Montagna, Francesco, et al.
Pubblicazione: (2023)

Addressing Instrument-Outcome Confounding in Mendelian Randomization through Representation Learning
di: Huang, Shimeng, et al.
Pubblicazione: (2026)

Toward Identifiable Sparse Autoencoders
di: Nelson, Walter, et al.
Pubblicazione: (2026)

Learning Discrete Diffusion of Graphs via Free-Energy Gradient Flows
di: Rancati, Dario, et al.
Pubblicazione: (2026)

Marrying Causal Representation Learning with Dynamical Systems for Science
di: Yao, Dingling, et al.
Pubblicazione: (2024)

Mechanistic PDE Networks for Discovery of Governing Equations
di: Pervez, Adeel, et al.
Pubblicazione: (2025)

Rate-Distortion-Perception Tradeoff Based on the Conditional-Distribution Perception Measure
di: Salehkalaibar, Sadaf, et al.
Pubblicazione: (2024)

A Synonymous Variational Perspective on the Rate-Distortion-Perception Tradeoff
di: Liang, Zijian, et al.
Pubblicazione: (2026)

Tackling Polysemanticity with Neuron Embeddings
di: Foote, Alex
Pubblicazione: (2024)

Out-of-Distribution Detection with Relative Angles
di: Demirel, Berker, et al.
Pubblicazione: (2024)

Statistical and structural identifiability in representation learning
di: Nelson, Walter, et al.
Pubblicazione: (2026)

High-dimensional Analysis of Synthetic Data Selection
di: Rezaei, Parham, et al.
Pubblicazione: (2025)

Navigating the Latent Space Dynamics of Neural Models
di: Fumero, Marco, et al.
Pubblicazione: (2025)

Rateless DeepJSCC for Broadcast Channels: a Rate-Distortion-Complexity Tradeoff
di: Qin, Zijun, et al.
Pubblicazione: (2026)

Tokenized SAEs: Disentangling SAE Reconstructions
di: Dooms, Thomas, et al.
Pubblicazione: (2025)

Distribution-Aware Feature Selection for SAEs
di: Oozeer, Narmeen, et al.
Pubblicazione: (2025)

Mechanistic Neural Networks for Scientific Machine Learning
di: Pervez, Adeel, et al.
Pubblicazione: (2024)

Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
di: Gupta, Manan, et al.
Pubblicazione: (2025)

Analyzing (In)Abilities of SAEs via Formal Languages
di: Menon, Abhinav, et al.
Pubblicazione: (2024)

How Neural Losses Shape VAE Latents
di: Strano, Giorgio, et al.
Pubblicazione: (2026)

Binding Dynamics in Rotating Features
di: Löwe, Sindy, et al.
Pubblicazione: (2024)

Polysemanticity and Capacity in Neural Networks
di: Scherlis, Adam, et al.
Pubblicazione: (2022)

The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench
di: Yao, Dingling, et al.
Pubblicazione: (2026)

Latent Space Translation via Inverse Relative Projection
di: Maiorca, Valentino, et al.
Pubblicazione: (2024)

Scalable unsupervised alignment of general metric and non-metric structures
di: Vedula, Sanketh, et al.
Pubblicazione: (2024)

Smoke and Mirrors in Causal Downstream Tasks
di: Cadei, Riccardo, et al.
Pubblicazione: (2024)

Unifying Causal Representation Learning with the Invariance Principle
di: Yao, Dingling, et al.
Pubblicazione: (2024)

The Third Pillar of Causal Analysis? A Measurement Perspective on Causal Representations
di: Yao, Dingling, et al.
Pubblicazione: (2025)

Latent Functional Maps: a spectral framework for representation alignment
di: Fumero, Marco, et al.
Pubblicazione: (2024)

Residual Stream Analysis with Multi-Layer SAEs
di: Lawson, Tim, et al.
Pubblicazione: (2024)

Disentangling Polysemantic Channels in Convolutional Neural Networks
di: Hesse, Robin, et al.
Pubblicazione: (2025)

Identifying General Mechanism Shifts in Linear Causal Representations
di: Chen, Tianyu, et al.
Pubblicazione: (2024)