Buchumschlag

SteerRM: Debiasing Reward Models via Sparse Autoencoders

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Mengyuan, Yu, Zhuohao, Gu, Weizheng, Zhang, Shikun, Ye, Wei
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SAEMark: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders
von: Yu, Zhuohao, et al.
Veröffentlicht: (2025)

RewardAnything: Generalizable Principle-Following Reward Models
von: Yu, Zhuohao, et al.
Veröffentlicht: (2025)

Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation
von: Yu, Zhuohao, et al.
Veröffentlicht: (2024)

SparseRM: A Lightweight Preference Modeling with Sparse Autoencoder
von: Liu, Dengcan, et al.
Veröffentlicht: (2025)

SAFER: Probing Safety in Reward Models with Sparse Autoencoder
von: Shi, Wei, et al.
Veröffentlicht: (2025)

Controllable LLM Reasoning via Sparse Autoencoder-Based Steering
von: Fang, Yi, et al.
Veröffentlicht: (2026)

Proof-RM: A Scalable and Generalizable Reward Model for Math Proof
von: Yang, Haotong, et al.
Veröffentlicht: (2026)

RM-R1: Reward Modeling as Reasoning
von: Chen, Xiusi, et al.
Veröffentlicht: (2025)

Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
von: Hua, Zhenglin, et al.
Veröffentlicht: (2025)

AgentRM: Enhancing Agent Generalization with Reward Modeling
von: Xia, Yu, et al.
Veröffentlicht: (2025)

A Comparative Analysis of Sparse Autoencoder and Activation Difference in Language Model Steering
von: Xie, Jiaqing
Veröffentlicht: (2025)

ALaRM: Align Language Models via Hierarchical Rewards Modeling
von: Lai, Yuhang, et al.
Veröffentlicht: (2024)

SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
von: Härle, Ruben, et al.
Veröffentlicht: (2024)

ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training
von: Liang, Yu, et al.
Veröffentlicht: (2026)

Fast-Slow Thinking RM: Efficient Integration of Scalar and Generative Reward Models
von: Wu, Jiayun, et al.
Veröffentlicht: (2026)

Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering
von: Zhao, Haiyan, et al.
Veröffentlicht: (2025)

FairSteer: Inference Time Debiasing for LLMs with Dynamic Activation Steering
von: Li, Yichen, et al.
Veröffentlicht: (2025)

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation
von: Zhou, Hongli, et al.
Veröffentlicht: (2026)

FreeEval: A Modular Framework for Trustworthy and Efficient Evaluation of Large Language Models
von: Yu, Zhuohao, et al.
Veröffentlicht: (2024)

Mechanistic Knobs in LLMs: Retrieving and Steering High-Order Semantic Features via Sparse Autoencoders
von: Zhang, Ruikang, et al.
Veröffentlicht: (2026)

Multilingual Steering by Design: Multilingual Sparse Autoencoders and Principled Layer Selection
von: Ghussin, Yusser Al, et al.
Veröffentlicht: (2026)

Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders
von: Wu, Xuansheng, et al.
Veröffentlicht: (2025)

HAF-RM: A Hybrid Alignment Framework for Reward Model Training
von: Liu, Shujun, et al.
Veröffentlicht: (2024)

ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework
von: Qin, Kai, et al.
Veröffentlicht: (2026)

Improving Steering Vectors by Targeting Sparse Autoencoder Features
von: Chalnev, Sviatoslav, et al.
Veröffentlicht: (2024)

KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models
von: Yu, Zhuohao, et al.
Veröffentlicht: (2024)

RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style
von: Liu, Yantao, et al.
Veröffentlicht: (2024)

What Do Agents Learn from Trajectory-SFT: Semantics or Interfaces?
von: Gu, Weizheng, et al.
Veröffentlicht: (2026)

LongRM: Revealing and Unlocking the Context Boundary of Reward Modeling
von: Tang, Zecheng, et al.
Veröffentlicht: (2025)

Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders
von: Deng, Boyi, et al.
Veröffentlicht: (2025)

Instruction Data Selection via Answer Divergence
von: Li, Bo, et al.
Veröffentlicht: (2026)

Debiasing Reward Models via Causally Motivated Inference-Time Intervention
von: Shinoda, Kazutoshi, et al.
Veröffentlicht: (2026)

Understanding Refusal in Language Models with Sparse Autoencoders
von: Yeo, Wei Jie, et al.
Veröffentlicht: (2025)

ToolRM: Outcome Reward Models for Tool-Calling Large Language Models
von: Agarwal, Mayank, et al.
Veröffentlicht: (2025)

DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging
von: Lin, Tzu-Han, et al.
Veröffentlicht: (2024)

CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features
von: Cho, Seonglae, et al.
Veröffentlicht: (2025)

ToolRM: Towards Agentic Tool-Use Reward Modeling
von: Li, Renhao, et al.
Veröffentlicht: (2025)

SG-Bench: Evaluating LLM Safety Generalization Across Diverse Tasks and Prompt Types
von: Mou, Yutao, et al.
Veröffentlicht: (2024)

SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
von: He, Zirui, et al.
Veröffentlicht: (2025)

P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling
von: Zhang, Pinyi, et al.
Veröffentlicht: (2026)