TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xie, Yutao, Thomas, Nathaniel, Hansen, Nicklas, Fu, Yang, Li, Li Erran, Wang, Xiaolong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search
von: Wu, Fang, et al.
Veröffentlicht: (2025)

Reward Shaping to Mitigate Reward Hacking in RLHF
von: Fu, Jiayi, et al.
Veröffentlicht: (2025)

Reward-Robust RLHF in LLMs
von: Yan, Yuzi, et al.
Veröffentlicht: (2024)

IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning
von: Liang, Zihan, et al.
Veröffentlicht: (2026)

ARGS: Alignment as Reward-Guided Search
von: Khanov, Maxim, et al.
Veröffentlicht: (2024)

Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
von: Xie, Tianbao, et al.
Veröffentlicht: (2023)

Teaching LLMs for Step-Level Automatic Math Correction via Reinforcement Learning
von: Li, Junsong, et al.
Veröffentlicht: (2025)

Selective Preference Optimization via Token-Level Reward Function Estimation
von: Yang, Kailai, et al.
Veröffentlicht: (2024)

Multi-Turn Code Generation Through Single-Step Rewards
von: Jain, Arnav Kumar, et al.
Veröffentlicht: (2025)

DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs
von: Cattan, Arie, et al.
Veröffentlicht: (2025)

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
von: Liu, Yang, et al.
Veröffentlicht: (2026)

Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings
von: Wu, Yuning, et al.
Veröffentlicht: (2026)

Rewarding Graph Reasoning Process makes LLMs more Generalized Reasoners
von: Peng, Miao, et al.
Veröffentlicht: (2025)

Response-Level Rewards Are All You Need for Online Reinforcement Learning in LLMs: A Mathematical Perspective
von: He, Shenghua, et al.
Veröffentlicht: (2025)

KnowCoder-X: Boosting Multilingual Information Extraction via Code
von: Zuo, Yuxin, et al.
Veröffentlicht: (2024)

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn Search Agents
von: Wang, Guoqing, et al.
Veröffentlicht: (2025)

Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making
von: Li, Manling, et al.
Veröffentlicht: (2024)

On the Shape of Brainscores for Large Language Models (LLMs)
von: Li, Jingkai
Veröffentlicht: (2024)

LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
von: Li, Junsong, et al.
Veröffentlicht: (2025)

Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective
von: Ou, Jingyang, et al.
Veröffentlicht: (2025)

Reward Is Enough: LLMs Are In-Context Reinforcement Learners
von: Song, Kefan, et al.
Veröffentlicht: (2025)

TSR: Trajectory-Search Rollouts for Multi-Turn RL of LLM Agents
von: Djuhera, Aladin, et al.
Veröffentlicht: (2026)

Learn to Reason Efficiently with Adaptive Length-based Reward Shaping
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data
von: Ling, Zhenqing, et al.
Veröffentlicht: (2025)

T-REG: Preference Optimization with Token-Level Reward Regularization
von: Zhou, Wenxuan, et al.
Veröffentlicht: (2024)

Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
von: Li, Zhuowan, et al.
Veröffentlicht: (2024)

GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy
von: Tan, Hongze, et al.
Veröffentlicht: (2025)

RAG-Instruct: Boosting LLMs with Diverse Retrieval-Augmented Instructions
von: Liu, Wanlong, et al.
Veröffentlicht: (2024)

Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
von: Yang, Wenkai, et al.
Veröffentlicht: (2026)

On the Emergence of Thinking in LLMs I: Searching for the Right Intuition
von: Ye, Guanghao, et al.
Veröffentlicht: (2025)

DH-RAG: A Dynamic Historical Context-Powered Retrieval-Augmented Generation Method for Multi-Turn Dialogue
von: Zhang, Feiyuan, et al.
Veröffentlicht: (2025)

Thinker: Training LLMs in Hierarchical Thinking for Deep Search via Multi-Turn Interaction
von: Xu, Jun, et al.
Veröffentlicht: (2025)

AGR: Age Group fairness Reward for Bias Mitigation in LLMs
von: Cao, Shuirong, et al.
Veröffentlicht: (2024)

TROJail: Trajectory-Level Optimization for Multi-Turn Large Language Model Jailbreaks with Process Rewards
von: Xiong, Xiqiao, et al.
Veröffentlicht: (2025)

Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
von: Li, Chenliang, et al.
Veröffentlicht: (2025)

RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation
von: Xu, Ran, et al.
Veröffentlicht: (2025)

Process Rewards with Learned Reliability
von: Li, Jinyuan, et al.
Veröffentlicht: (2026)

Direct Behavior Optimization: Unlocking the Potential of Lightweight LLMs
von: Yang, Hongming, et al.
Veröffentlicht: (2025)

Tool Unlearning for Tool-Augmented LLMs
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation
von: Merth, Thomas, et al.
Veröffentlicht: (2024)