Buchumschlag

Bootstrapping Language Models with DPO Implicit Rewards

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Changyu, Liu, Zichen, Du, Chao, Pang, Tianyu, Liu, Qian, Sinha, Arunesh, Varakantham, Pradeep, Lin, Min
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression
von: Ge, Zichang, et al.
Veröffentlicht: (2025)

Language Models Can Learn from Verbal Feedback Without Scalar Rewards
von: Luo, Renjie, et al.
Veröffentlicht: (2025)

Towards Neural Network based Cognitive Models of Dynamic Decision-Making by Humans
von: Chen, Changyu, et al.
Veröffentlicht: (2024)

Semantic Loss Guided Data Efficient Supervised Fine Tuning for Safe Responses in LLMs
von: Lu, Yuxiao, et al.
Veröffentlicht: (2024)

Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
von: Lu, Yuxiao, et al.
Veröffentlicht: (2023)

Automatic LLM Red Teaming
von: Belaire, Roman, et al.
Veröffentlicht: (2025)

On Minimizing Adversarial Counterfactual Error in Adversarial RL
von: Belaire, Roman, et al.
Veröffentlicht: (2024)

Understanding R1-Zero-Like Training: A Critical Perspective
von: Liu, Zichen, et al.
Veröffentlicht: (2025)

Sample-Efficient Alignment for LLMs
von: Liu, Zichen, et al.
Veröffentlicht: (2024)

Variational Reasoning for Language Models
von: Zhou, Xiangxin, et al.
Veröffentlicht: (2025)

Purifying Large Language Models by Ensembling a Small Language Model
von: Li, Tianlin, et al.
Veröffentlicht: (2024)

Optimizing Anytime Reasoning via Budget Relative Policy Optimization
von: Qi, Penghui, et al.
Veröffentlicht: (2025)

Improved Few-Shot Jailbreaking Can Circumvent Aligned Language Models and Their Defenses
von: Zheng, Xiaosen, et al.
Veröffentlicht: (2024)

When Attention Sink Emerges in Language Models: An Empirical View
von: Gu, Xiangming, et al.
Veröffentlicht: (2024)

Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
von: Zhang, Xuan, et al.
Veröffentlicht: (2024)

Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models
von: Wong, Wai Tuck, et al.
Veröffentlicht: (2026)

Test-Time Backdoor Attacks on Multimodal Large Language Models
von: Lu, Dong, et al.
Veröffentlicht: (2024)

Improving Your Model Ranking on Chatbot Arena by Vote Rigging
von: Min, Rui, et al.
Veröffentlicht: (2025)

A Closer Look at Machine Unlearning for Large Language Models
von: Yuan, Xiaojian, et al.
Veröffentlicht: (2024)

Defeating the Training-Inference Mismatch via FP16
von: Qi, Penghui, et al.
Veröffentlicht: (2025)

Reinforcing General Reasoning without Verifiers
von: Zhou, Xiangxin, et al.
Veröffentlicht: (2025)

Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap
von: Qi, Xuan, et al.
Veröffentlicht: (2025)

Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections
von: Wang, Bo, et al.
Veröffentlicht: (2025)

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
von: Zheng, Xiaosen, et al.
Veröffentlicht: (2024)

Improved Techniques for Optimization-Based Jailbreaking on Large Language Models
von: Jia, Xiaojun, et al.
Veröffentlicht: (2024)

Scaling up Masked Diffusion Models on Text
von: Nie, Shen, et al.
Veröffentlicht: (2024)

Scalable Token-Level Hallucination Detection in Large Language Models
von: Min, Rui, et al.
Veröffentlicht: (2026)

UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function
von: Wang, Zhichao, et al.
Veröffentlicht: (2024)

Training Optimal Large Diffusion Language Models
von: Ni, Jinjie, et al.
Veröffentlicht: (2025)

Lifelong Safety Alignment for Language Models
von: Wang, Haoyu, et al.
Veröffentlicht: (2025)

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
von: Zhang, Xuan, et al.
Veröffentlicht: (2024)

Why is Your Language Model a Poor Implicit Reward Model?
von: Razin, Noam, et al.
Veröffentlicht: (2025)

DavIR: Data Selection via Implicit Reward for Large Language Models
von: Zhou, Haotian, et al.
Veröffentlicht: (2023)

GIFT: Group-Relative Implicit Fine-Tuning Integrates GRPO with DPO and UNA
von: Wang, Zhichao
Veröffentlicht: (2025)

Process Reinforcement through Implicit Rewards
von: Cui, Ganqu, et al.
Veröffentlicht: (2025)

Meta-Unlearning on Diffusion Models: Preventing Relearning Unlearned Concepts
von: Gao, Hongcheng, et al.
Veröffentlicht: (2024)

On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization
von: Lin, Yong, et al.
Veröffentlicht: (2024)

Provably Robust DPO: Aligning Language Models with Noisy Feedback
von: Chowdhury, Sayak Ray, et al.
Veröffentlicht: (2024)

Self-Generated Critiques Boost Reward Modeling for Language Models
von: Yu, Yue, et al.
Veröffentlicht: (2024)

AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization
von: Wu, Junkang, et al.
Veröffentlicht: (2024)