Buchumschlag

Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Jiayi, Ji, Jiaming, Dai, Juntao, Li, Dong, Yang, Yaodong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reward Generalization in RLHF: A Topological Perspective
von: Qiu, Tianyi, et al.
Veröffentlicht: (2024)

PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
von: Ji, Jiaming, et al.
Veröffentlicht: (2024)

Language Models Resist Alignment: Evidence From Data Compression
von: Ji, Jiaming, et al.
Veröffentlicht: (2024)

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model
von: Yin, Yueqin, et al.
Veröffentlicht: (2025)

RLHF Workflow: From Reward Modeling to Online RLHF
von: Dong, Hanze, et al.
Veröffentlicht: (2024)

Align Anything: Training All-Modality Models to Follow Instructions with Language Feedback
von: Ji, Jiaming, et al.
Veröffentlicht: (2024)

Reward Shaping to Mitigate Reward Hacking in RLHF
von: Fu, Jiayi, et al.
Veröffentlicht: (2025)

SafeMT: Multi-turn Safety for Multimodal Language Models
von: Zhu, Han, et al.
Veröffentlicht: (2025)

SPADE-Bench: Evaluating Spontaneous Strategic Deception in Agents via Plan-Action Divergence
von: Bu, Yuyan, et al.
Veröffentlicht: (2026)

SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning
von: Wang, Lichao, et al.
Veröffentlicht: (2026)

CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
von: Wang, Hao, et al.
Veröffentlicht: (2026)

Reward-Robust RLHF in LLMs
von: Yan, Yuzi, et al.
Veröffentlicht: (2024)

SAE-V: Interpreting Multimodal Models for Enhanced Alignment
von: Lou, Hantao, et al.
Veröffentlicht: (2025)

Mitigating Reward Over-Optimization in RLHF via Behavior-Supported Regularization
von: Dai, Juntao, et al.
Veröffentlicht: (2025)

How to Evaluate Reward Models for RLHF
von: Frick, Evan, et al.
Veröffentlicht: (2024)

MemoryRewardBench: Benchmarking Reward Models for Long-Term Memory Management in Large Language Models
von: Tang, Zecheng, et al.
Veröffentlicht: (2026)

Reward Model Overoptimisation in Iterated RLHF
von: Wolf, Lorenz, et al.
Veröffentlicht: (2025)

The Accuracy Paradox in RLHF: When Better Reward Models Don't Yield Better Language Models
von: Chen, Yanjun, et al.
Veröffentlicht: (2024)

Prototypical Reward Network for Data-Efficient RLHF
von: Zhang, Jinghan, et al.
Veröffentlicht: (2024)

Quantile Regression for Distributional Reward Models in RLHF
von: Dorka, Nicolai
Veröffentlicht: (2024)

Sequence-to-Sequence Language Models for Character and Emotion Detection in Dream Narratives
von: Cortal, Gustave
Veröffentlicht: (2024)

It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF
von: Lu, Taiming, et al.
Veröffentlicht: (2024)

Aligner: Efficient Alignment by Learning to Correct
von: Ji, Jiaming, et al.
Veröffentlicht: (2024)

Reward Difference Optimization For Sample Reweighting In Offline RLHF
von: Wang, Shiqi, et al.
Veröffentlicht: (2024)

ODIN: Disentangled Reward Mitigates Hacking in RLHF
von: Chen, Lichang, et al.
Veröffentlicht: (2024)

Stream Aligner: Efficient Sentence-Level Alignment via Distribution Induction
von: Lou, Hantao, et al.
Veröffentlicht: (2025)

Modeling Language as a Sequence of Thoughts
von: Borazjanizadeh, Nasim, et al.
Veröffentlicht: (2025)

GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy
von: Tan, Hongze, et al.
Veröffentlicht: (2025)

Sequence-to-Sequence Spanish Pre-trained Language Models
von: Araujo, Vladimir, et al.
Veröffentlicht: (2023)

Warmup Generations: A Task-Agnostic Approach for Guiding Sequence-to-Sequence Learning with Unsupervised Initial State Generation
von: Li, Senyu, et al.
Veröffentlicht: (2025)

LongRM: Revealing and Unlocking the Context Boundary of Reward Modeling
von: Tang, Zecheng, et al.
Veröffentlicht: (2025)

RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution
von: Li, Jiahui, et al.
Veröffentlicht: (2024)

Information-Theoretic Reward Decomposition for Generalizable RLHF
von: Mao, Liyuan, et al.
Veröffentlicht: (2025)

Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
von: Shen, Wei, et al.
Veröffentlicht: (2024)

Align Once, Benefit Multilingually: Enforcing Multilingual Consistency for LLM Safety Alignment
von: Bu, Yuyan, et al.
Veröffentlicht: (2026)

Generative RLHF-V: Learning Principles from Multi-modal Human Preference
von: Zhou, Jiayi, et al.
Veröffentlicht: (2025)

Safe RLHF-V: Safe Reinforcement Learning from Multi-modal Human Feedback
von: Ji, Jiaming, et al.
Veröffentlicht: (2025)

Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

Benchmarking Multi-National Value Alignment for Large Language Models
von: Shi, Weijie, et al.
Veröffentlicht: (2025)

Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model
von: He, Zhiwei, et al.
Veröffentlicht: (2024)