Buchumschlag

When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shang, Shuning, Strauss, Hubert, Wei, Stanley, Arora, Sanjeev, Razin, Noam
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

What Makes a Reward Model a Good Teacher? An Optimization Perspective
von: Razin, Noam, et al.
Veröffentlicht: (2025)

Why is Your Language Model a Poor Implicit Reward Model?
von: Razin, Noam, et al.
Veröffentlicht: (2025)

Understanding Deep Learning via Notions of Rank
von: Razin, Noam
Veröffentlicht: (2024)

Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning
von: Cohen, Nadav, et al.
Veröffentlicht: (2024)

Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization
von: Razin, Noam, et al.
Veröffentlicht: (2024)

Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
von: Huang, Jiawei, et al.
Veröffentlicht: (2025)

Implicit Bias of Policy Gradient in Linear Quadratic Control: Extrapolation to Unseen Initial States
von: Razin, Noam, et al.
Veröffentlicht: (2024)

Provable unlearning in topic modeling and downstream tasks
von: Wei, Stanley, et al.
Veröffentlicht: (2024)

Vanishing Gradients in Reinforcement Finetuning of Language Models
von: Razin, Noam, et al.
Veröffentlicht: (2023)

Contextual Drag: How Errors in the Context Affect LLM Reasoning
von: Cheng, Yun, et al.
Veröffentlicht: (2026)

What Makes Data Suitable for a Locally Connected Neural Network? A Necessary and Sufficient Condition Based on Quantum Entanglement
von: Alexander, Yotam, et al.
Veröffentlicht: (2023)

Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers
von: Cai, Xin-Qiang, et al.
Veröffentlicht: (2025)

An Imperfect Verifier is Good Enough: Learning with Noisy Rewards
von: Plesner, Andreas, et al.
Veröffentlicht: (2026)

Hierarchical Apprenticeship Learning from Imperfect Demonstrations with Evolving Rewards
von: Islam, Md Mirajul, et al.
Veröffentlicht: (2026)

Can Models Learn Skill Composition from Examples?
von: Zhao, Haoyu, et al.
Veröffentlicht: (2024)

What Can You Do When You Have Zero Rewards During RL?
von: Prakash, Jatin, et al.
Veröffentlicht: (2025)

Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
von: Thrampoulidis, Christos, et al.
Veröffentlicht: (2025)

Stabilizing Policy Gradient Methods via Reward Profiling
von: Ahmed, Shihab, et al.
Veröffentlicht: (2025)

Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control
von: Islam, SM Mazharul, et al.
Veröffentlicht: (2025)

When is Off-Policy Evaluation (Reward Modeling) Useful in Contextual Bandits? A Data-Centric Perspective
von: Sun, Hao, et al.
Veröffentlicht: (2023)

Skill-Targeted Adaptive Training
von: He, Yinghui, et al.
Veröffentlicht: (2025)

Metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors
von: Didolkar, Aniket, et al.
Veröffentlicht: (2025)

A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
von: Liu, Mingyang, et al.
Veröffentlicht: (2024)

Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
von: Bai, Qinbo, et al.
Veröffentlicht: (2023)

Binary Split Categorical feature with Mean Absolute Error Criteria in CART
von: Yu, Peng, et al.
Veröffentlicht: (2025)

Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
von: Bai, Qinbo, et al.
Veröffentlicht: (2024)

Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
von: Manivannan, Sanjeev, et al.
Veröffentlicht: (2026)

Intrinsic Reward Policy Optimization for Sparse-Reward Environments
von: Cho, Minjae, et al.
Veröffentlicht: (2026)

Policy Filtration for RLHF to Mitigate Noise in Reward Models
von: Zhang, Chuheng, et al.
Veröffentlicht: (2024)

ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
von: Zhang, Chen Bo Calvin, et al.
Veröffentlicht: (2024)

When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL
von: Wang, Youting, et al.
Veröffentlicht: (2026)

Reward Learning through Ranking Mean Squared Error
von: Kharyal, Chaitanya, et al.
Veröffentlicht: (2026)

Preference-Based Gradient Estimation for ML-Guided Approximate Combinatorial Optimization
von: Mielke, Arman, et al.
Veröffentlicht: (2025)

MAPLE: Multi-State Aggregated Policy Evaluation for AlphaZero in Imperfect-Information Games
von: Li, Qian-Rong, et al.
Veröffentlicht: (2026)

Optimal Labeler Assignment and Sampling for Active Learning in the Presence of Imperfect Labels
von: Ahadi, Pouya, et al.
Veröffentlicht: (2025)

Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment
von: Kitkana, Chayanon, et al.
Veröffentlicht: (2026)

Robot Policy Learning with Temporal Optimal Transport Reward
von: Fu, Yuwei, et al.
Veröffentlicht: (2024)

Learning General Policies with Policy Gradient Methods
von: Ståhlberg, Simon, et al.
Veröffentlicht: (2025)

Unrealized Expectations: Comparing AI Methods vs Classical Algorithms for Maximum Independent Set
von: Wu, Yikai, et al.
Veröffentlicht: (2025)

GOPO: Policy Optimization using Ranked Rewards
von: Choi, Kyuseong, et al.
Veröffentlicht: (2026)