Buchumschlag

Analyzing (In)Abilities of SAEs via Formal Languages

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Menon, Abhinav, Shrivastava, Manish, Krueger, David, Lubana, Ekdeep Singh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
von: Lubana, Ekdeep Singh, et al.
Veröffentlicht: (2024)

How Do LLMs Persuade? Linear Probes Can Uncover Persuasion Dynamics in Multi-Turn Conversations
von: Jaipersaud, Brandon, et al.
Veröffentlicht: (2025)

Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task
von: Okawa, Maya, et al.
Veröffentlicht: (2023)

Abrupt Learning in Transformers: A Case Study on Matrix Completion
von: Gopalani, Pulkit, et al.
Veröffentlicht: (2024)

Detecting High-Stakes Interactions with Activation Probes
von: McKenzie, Alex, et al.
Veröffentlicht: (2025)

Competition Dynamics Shape Algorithmic Phases of In-Context Learning
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit
von: Costa, Valérie, et al.
Veröffentlicht: (2025)

Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit
von: Costa, Valérie, et al.
Veröffentlicht: (2025)

Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks
von: Jain, Samyak, et al.
Veröffentlicht: (2023)

Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks
von: Ramesh, Rahul, et al.
Veröffentlicht: (2023)

Projecting Assumptions: The Duality Between Sparse Autoencoders and Concept Geometry
von: Hindupur, Sai Sumedh R., et al.
Veröffentlicht: (2025)

Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing
von: Nishi, Kento, et al.
Veröffentlicht: (2024)

Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

Swing-by Dynamics in Concept Learning and Compositional Generalization
von: Yang, Yongyi, et al.
Veröffentlicht: (2024)

Features as Rewards: Scalable Supervision for Open-Ended Tasks via Interpretability
von: Prasad, Aaditya Vikram, et al.
Veröffentlicht: (2026)

The Impact of Off-Policy Training Data on Probe Generalisation
von: Kirch, Nathalie, et al.
Veröffentlicht: (2025)

Emergence of Hierarchical Emotion Organization in Large Language Models
von: Zhao, Bo, et al.
Veröffentlicht: (2025)

Towards Reliable Evaluation of Behavior Steering Interventions in LLMs
von: Pres, Itamar, et al.
Veröffentlicht: (2024)

From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts?
von: Mueller, Aaron, et al.
Veröffentlicht: (2025)

In-Context Learning Strategies Emerge Rationally
von: Wurgaft, Daniel, et al.
Veröffentlicht: (2025)

In-Context Learning Dynamics with Random Binary Sequences
von: Bigelow, Eric J., et al.
Veröffentlicht: (2023)

Continuous Video Process: Modeling Videos as Continuous Multi-Dimensional Processes for Video Prediction
von: Shrivastava, Gaurav, et al.
Veröffentlicht: (2024)

Tokenized SAEs: Disentangling SAE Reconstructions
von: Dooms, Thomas, et al.
Veröffentlicht: (2025)

Distribution-Aware Feature Selection for SAEs
von: Oozeer, Narmeen, et al.
Veröffentlicht: (2025)

The Rate-Distortion-Polysemanticity Tradeoff in SAEs
von: Mencattini, Tommaso, et al.
Veröffentlicht: (2026)

Resa: Transparent Reasoning Models via SAEs
von: Wang, Shangshang, et al.
Veröffentlicht: (2025)

Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model
von: Khona, Mikail, et al.
Veröffentlicht: (2024)

What Makes and Breaks Safety Fine-tuning? A Mechanistic Study
von: Jain, Samyak, et al.
Veröffentlicht: (2024)

Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention
von: Huang, Jing, et al.
Veröffentlicht: (2026)

Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering
von: Bigelow, Eric, et al.
Veröffentlicht: (2025)

Video Decomposition Prior: A Methodology to Decompose Videos into Layers
von: Shrivastava, Gaurav, et al.
Veröffentlicht: (2024)

Residual Stream Analysis with Multi-Layer SAEs
von: Lawson, Tim, et al.
Veröffentlicht: (2024)

ICLR: In-Context Learning of Representations
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
von: Bigelow, Eric, et al.
Veröffentlicht: (2026)

Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines?
von: Korznikov, Anton, et al.
Veröffentlicht: (2026)

Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design
von: Brzozowski, Michał, et al.
Veröffentlicht: (2026)

Mechanistic Interpretability with SAEs: Probing Religion, Violence, and Geography in Large Language Models
von: Simbeck, Katharina, et al.
Veröffentlicht: (2025)

Can SAEs reveal and mitigate racial biases of LLMs in healthcare?
von: Ahsan, Hiba, et al.
Veröffentlicht: (2025)

Investigating Sensitive Directions in GPT-2: An Improved Baseline and Comparative Analysis of SAEs
von: Lee, Daniel J., et al.
Veröffentlicht: (2024)

Features Emerge as Discrete States: The First Application of SAEs to 3D Representations
von: Miao, Albert, et al.
Veröffentlicht: (2025)