Buchumschlag

A Comparative Analysis of Sparse Autoencoder and Activation Difference in Language Model Steering

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Xie, Jiaqing
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering
von: Zhao, Haiyan, et al.
Veröffentlicht: (2025)

SteerRM: Debiasing Reward Models via Sparse Autoencoders
von: Sun, Mengyuan, et al.
Veröffentlicht: (2026)

SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
von: He, Zirui, et al.
Veröffentlicht: (2025)

SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
von: Härle, Ruben, et al.
Veröffentlicht: (2024)

Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders
von: Wu, Xuansheng, et al.
Veröffentlicht: (2025)

Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
von: Ghussin, Yusser Al, et al.
Veröffentlicht: (2026)

Controllable LLM Reasoning via Sparse Autoencoder-Based Steering
von: Fang, Yi, et al.
Veröffentlicht: (2026)

Activation Steering for Masked Diffusion Language Models
von: Shnaidman, Adi, et al.
Veröffentlicht: (2025)

Improving Steering Vectors by Targeting Sparse Autoencoder Features
von: Chalnev, Sviatoslav, et al.
Veröffentlicht: (2024)

Contextual Linear Activation Steering of Language Models
von: Hsu, Brandon, et al.
Veröffentlicht: (2026)

Understanding Refusal in Language Models with Sparse Autoencoders
von: Yeo, Wei Jie, et al.
Veröffentlicht: (2025)

Steering Language Models With Activation Engineering
von: Turner, Alexander Matt, et al.
Veröffentlicht: (2023)

Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
von: Hua, Zhenglin, et al.
Veröffentlicht: (2025)

REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering
von: Zhan, Li-Ming, et al.
Veröffentlicht: (2025)

Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
von: Joshi, Shruti, et al.
Veröffentlicht: (2025)

SAEMark: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders
von: Yu, Zhuohao, et al.
Veröffentlicht: (2025)

Activation Scaling for Steering and Interpreting Language Models
von: Stoehr, Niklas, et al.
Veröffentlicht: (2024)

LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models
von: Yang, Jingyuan, et al.
Veröffentlicht: (2025)

Controlling Large Language Model Agents with Entropic Activation Steering
von: Rahn, Nate, et al.
Veröffentlicht: (2024)

Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines
von: Jørgensen, Mikkel Godsk, et al.
Veröffentlicht: (2026)

Cross-Lingual Activation Steering for Multilingual Language Models
von: Pokharel, Rhitabrat, et al.
Veröffentlicht: (2026)

SAFER: Probing Safety in Reward Models with Sparse Autoencoder
von: Shi, Wei, et al.
Veröffentlicht: (2025)

Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders
von: Deng, Boyi, et al.
Veröffentlicht: (2025)

Endogenous Resistance to Activation Steering in Language Models
von: McKenzie, Alex, et al.
Veröffentlicht: (2026)

Jacobian Sparse Autoencoders: Sparsify Computations, Not Just Activations
von: Farnik, Lucy, et al.
Veröffentlicht: (2025)

Mechanistic Knobs in LLMs: Retrieving and Steering High-Order Semantic Features via Sparse Autoencoders
von: Zhang, Ruikang, et al.
Veröffentlicht: (2026)

Spherical Steering: Geometry-Aware Activation Rotation for Language Models
von: You, Zejia, et al.
Veröffentlicht: (2026)

SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability
von: Karvonen, Adam, et al.
Veröffentlicht: (2025)

Enhancing Cross-task Transfer of Large Language Models via Activation Steering
von: Tang, Xinyu, et al.
Veröffentlicht: (2025)

CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features
von: Cho, Seonglae, et al.
Veröffentlicht: (2025)

SparseRM: A Lightweight Preference Modeling with Sparse Autoencoder
von: Liu, Dengcan, et al.
Veröffentlicht: (2025)

SAE-SSV: Supervised Steering in Sparse Representation Spaces for Reliable Control of Language Models
von: He, Zirui, et al.
Veröffentlicht: (2025)

Achieving Sparse Activation in Small Language Models
von: Song, Jifeng, et al.
Veröffentlicht: (2024)

Fine-Grained Activation Steering: Steering Less, Achieving More
von: Feng, Zijian, et al.
Veröffentlicht: (2026)

Sparse-Autoencoder-Guided Internal Representation Unlearning for Large Language Models
von: Yamashita, Tomoya, et al.
Veröffentlicht: (2025)

Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models
von: O'Neill, Charles, et al.
Veröffentlicht: (2024)

AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders
von: Wu, Zhengxuan, et al.
Veröffentlicht: (2025)

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations
von: Hazra, Rima, et al.
Veröffentlicht: (2024)

Improving Instruction-Following in Language Models through Activation Steering
von: Stolfo, Alessandro, et al.
Veröffentlicht: (2024)

Beyond Input Activations: Identifying Influential Latents by Gradient Sparse Autoencoders
von: Shu, Dong, et al.
Veröffentlicht: (2025)