Buchumschlag

Understanding Reasoning in Thinking Language Models via Steering Vectors

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Venhoff, Constantin, Arcuschin, Iván, Torr, Philip, Conmy, Arthur, Nanda, Neel
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Base Models Know How to Reason, Thinking Models Learn When
von: Venhoff, Constantin, et al.
Veröffentlicht: (2025)

Chain-of-Thought Reasoning In The Wild Is Not Always Faithful
von: Arcuschin, Iván, et al.
Veröffentlicht: (2025)

Automatically Finding Reward Model Biases
von: Wang, Atticus, et al.
Veröffentlicht: (2026)

Thought Anchors: Which LLM Reasoning Steps Matter?
von: Bogdan, Paul C., et al.
Veröffentlicht: (2025)

Subliminal Learning Is Steering Vector Distillation
von: Blank, Camila, et al.
Veröffentlicht: (2026)

Improving Steering Vectors by Targeting Sparse Autoencoder Features
von: Chalnev, Sviatoslav, et al.
Veröffentlicht: (2024)

How Visual Representations Map to Language Feature Space in Multimodal LLMs
von: Venhoff, Constantin, et al.
Veröffentlicht: (2025)

Too Late to Recall: Explaining the Two-Hop Problem in Multimodal Knowledge Retrieval
von: Venhoff, Constantin, et al.
Veröffentlicht: (2025)

Reasoning-Finetuning Repurposes Latent Representations in Base Models
von: Ward, Jake, et al.
Veröffentlicht: (2025)

Scaling sparse feature circuit finding for in-context learning
von: Kharlapenko, Dmitrii, et al.
Veröffentlicht: (2025)

Improving Dictionary Learning with Gated Sparse Autoencoders
von: Rajamanoharan, Senthooran, et al.
Veröffentlicht: (2024)

Explorations of Self-Repair in Language Models
von: Rushing, Cody, et al.
Veröffentlicht: (2024)

Building Production-Ready Probes For Gemini
von: Kramár, János, et al.
Veröffentlicht: (2026)

Towards Best Practices of Activation Patching in Language Models: Metrics and Methods
von: Zhang, Fred, et al.
Veröffentlicht: (2023)

Inference-Time Toxicity Mitigation in Protein Language Models
von: Burda, Manuel Fernández, et al.
Veröffentlicht: (2026)

On the Non-Identifiability of Steering Vectors in Large Language Models
von: Venkatesh, Sohan, et al.
Veröffentlicht: (2026)

Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning
von: Casademunt, Helena, et al.
Veröffentlicht: (2025)

Applying sparse autoencoders to unlearn knowledge in language models
von: Farrell, Eoin, et al.
Veröffentlicht: (2024)

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2
von: Lieberum, Tom, et al.
Veröffentlicht: (2024)

Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models
von: Ferrando, Javier, et al.
Veröffentlicht: (2024)

BatchTopK Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2024)

Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations
von: Braun, Joschka
Veröffentlicht: (2026)

Thought Branches: Interpreting LLM Reasoning Requires Resampling
von: Macar, Uzay, et al.
Veröffentlicht: (2025)

Biases in the Blind Spot: Detecting What LLMs Fail to Mention
von: Arcuschin, Iván, et al.
Veröffentlicht: (2026)

Model Organisms for Emergent Misalignment
von: Turner, Edward, et al.
Veröffentlicht: (2025)

Comment on The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
von: Lawsen, A.
Veröffentlicht: (2025)

Focus On This, Not That! Steering LLMs with Adaptive Feature Specification
von: Lamb, Tom A., et al.
Veröffentlicht: (2024)

Learning Multi-Level Features with Matryoshka Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2025)

Convergent Linear Representations of Emergent Misalignment
von: Soligo, Anna, et al.
Veröffentlicht: (2025)

Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time
von: Zhang, Zhenyu, et al.
Veröffentlicht: (2025)

Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models
von: Lan, Michael, et al.
Veröffentlicht: (2023)

SAGE: Scalable Ground Truth Evaluations for Large Sparse Autoencoders
von: Venhoff, Constantin, et al.
Veröffentlicht: (2024)

Eliciting Secret Knowledge from Language Models
von: Cywiński, Bartosz, et al.
Veröffentlicht: (2025)

Confidence Regulation Neurons in Language Models
von: Stolfo, Alessandro, et al.
Veröffentlicht: (2024)

Dialz: A Python Toolkit for Steering Vectors
von: Siddique, Zara, et al.
Veröffentlicht: (2025)

AdapThink: Adaptive Thinking Preferences for Reasoning Language Model
von: Wan, Xu, et al.
Veröffentlicht: (2025)

Refusal in Language Models Is Mediated by a Single Direction
von: Arditi, Andy, et al.
Veröffentlicht: (2024)

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
von: Shojaee, Parshin, et al.
Veröffentlicht: (2025)

AdaReasoner: Adaptive Reasoning Enables More Flexible Thinking in Large Language Models
von: Wang, Xiangqi, et al.
Veröffentlicht: (2025)

Simple LLM Baselines are Competitive for Model Diffing
von: Kempf, Elias, et al.
Veröffentlicht: (2026)