Buchumschlag

Self-Generated Critiques Boost Reward Modeling for Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yu, Yue, Chen, Zhengxing, Zhang, Aston, Tan, Liang, Zhu, Chenguang, Pang, Richard Yuanzhe, Qian, Yundi, Wang, Xuewei, Gururangan, Suchin, Zhang, Chao, Kambadur, Melanie, Mahajan, Dhruv, Hou, Rui
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Law of the Weakest Link: Cross Capabilities of Large Language Models
von: Zhong, Ming, et al.
Veröffentlicht: (2024)

A Systematic Examination of Preference Learning through the Lens of Instruction-Following
von: Kim, Joongwon, et al.
Veröffentlicht: (2024)

Time is Encoded in the Weights of Finetuned Language Models
von: Nylund, Kai, et al.
Veröffentlicht: (2023)

Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder
von: Yang, Xianjun, et al.
Veröffentlicht: (2025)

Self-Rewarding Language Models
von: Yuan, Weizhe, et al.
Veröffentlicht: (2024)

LESS: Selecting Influential Data for Targeted Instruction Tuning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2024)

Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
von: Blevins, Terra, et al.
Veröffentlicht: (2024)

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore
von: Min, Sewon, et al.
Veröffentlicht: (2023)

AboutMe: Using Self-Descriptions in Webpages to Document the Effects of English Pretraining Data Filters
von: Lucy, Li, et al.
Veröffentlicht: (2024)

Critique-out-Loud Reward Models
von: Ankner, Zachary, et al.
Veröffentlicht: (2024)

Improving Reward Models with Synthetic Critiques
von: Ye, Zihuiwen, et al.
Veröffentlicht: (2024)

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision
von: Jayalath, Dulhan, et al.
Veröffentlicht: (2025)

Boosting LLM Reasoning via Spontaneous Self-Correction
von: Zhao, Xutong, et al.
Veröffentlicht: (2025)

Critiques of World Models
von: Xing, Eric, et al.
Veröffentlicht: (2025)

Preference Poisoning Attacks on Reward Model Learning
von: Wu, Junlin, et al.
Veröffentlicht: (2024)

Information Flow Control in Machine Learning through Modular Model Architecture
von: Tiwari, Trishita, et al.
Veröffentlicht: (2023)

ReLAM: Learning Anticipation Model for Rewarding Visual Robotic Manipulation
von: Tang, Nan, et al.
Veröffentlicht: (2025)

Self-Consistency of the Internal Reward Models Improves Self-Rewarding Language Models
von: Zhou, Xin, et al.
Veröffentlicht: (2025)

Bootstrapping Language Models with DPO Implicit Rewards
von: Chen, Changyu, et al.
Veröffentlicht: (2024)

Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique
von: Li, Yansi, et al.
Veröffentlicht: (2025)

Rethinking Thinking Tokens: LLMs as Improvement Operators
von: Madaan, Lovish, et al.
Veröffentlicht: (2025)

LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training
von: Wu, Bo, et al.
Veröffentlicht: (2025)

VR-Thinker: Boosting Video Reward Models through Thinking-with-Image Reasoning
von: Wang, Qunzhong, et al.
Veröffentlicht: (2025)

You Only Look at Screens: Multimodal Chain-of-Action Agents
von: Zhang, Zhuosheng, et al.
Veröffentlicht: (2023)

ALAS: Autonomous Learning Agent for Self-Updating Language Models
von: Atreja, Dhruv
Veröffentlicht: (2025)

TLDR: Token-Level Detective Reward Model for Large Vision Language Models
von: Fu, Deqing, et al.
Veröffentlicht: (2024)

Training Language Model to Critique for Better Refinement
von: Yu, Tianshu, et al.
Veröffentlicht: (2025)

Process-based Self-Rewarding Language Models
von: Zhang, Shimao, et al.
Veröffentlicht: (2025)

Reconstruct or Generate: Exploring the Spectrum of Generative Modeling for Cardiac MRI
von: Bubeck, Niklas, et al.
Veröffentlicht: (2025)

Self-Evolving Critique Abilities in Large Language Models
von: Tang, Zhengyang, et al.
Veröffentlicht: (2025)

SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards
von: Hong, Jixiang, et al.
Veröffentlicht: (2025)

Reward-SQL: Boosting Text-to-SQL via Stepwise Reasoning and Process-Supervised Rewards
von: Zhang, Yuxin, et al.
Veröffentlicht: (2025)

Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation
von: Cao, Meng, et al.
Veröffentlicht: (2024)

VAR: Visual Analysis for Rashomon Set of Machine Learning Models' Performance
von: Jin, Yuanzhe
Veröffentlicht: (2025)

NN-Based Joint Mitigation of IQ Imbalance and PA Nonlinearity With Multiple States
von: Zhang, Yundi, et al.
Veröffentlicht: (2025)

Unsupervised whole-heart function assessment
von: Zhang, Yundi, et al.
Veröffentlicht: (2025)

NN-Based Frequency Domain DPD for OFDM Massive MIMO Transmitters With Multiple States
von: Zhang, Yundi, et al.
Veröffentlicht: (2025)

Self-Rewarding PPO: Aligning Large Language Models with Demonstrations Only
von: Zhang, Qingru, et al.
Veröffentlicht: (2025)

Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning
von: Xi, Zhiheng, et al.
Veröffentlicht: (2025)

ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework
von: Qin, Kai, et al.
Veröffentlicht: (2026)