Buchumschlag

Weak-to-Strong Preference Optimization: Stealing Reward from Weak Aligned Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Wenhong, He, Zhiwei, Wang, Xiaofeng, Liu, Pengfei, Wang, Rui
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Weak-to-Strong Reasoning
von: Yang, Yuqing, et al.
Veröffentlicht: (2024)

Do Large Language Models Truly Understand Geometric Structures?
von: Wang, Xiaofeng, et al.
Veröffentlicht: (2025)

When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift
von: Le, Khoi, et al.
Veröffentlicht: (2026)

MACPO: Weak-to-Strong Alignment via Multi-Agent Contrastive Preference Optimization
von: Lyu, Yougang, et al.
Veröffentlicht: (2024)

VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning
von: Lu, Xingyu, et al.
Veröffentlicht: (2026)

Weak-to-Strong GraphRAG: Aligning Weak Retrievers with Large Language Models for Graph-based Retrieval Augmented Generation
von: Zou, Deyu, et al.
Veröffentlicht: (2025)

Weak-to-Strong Jailbreaking on Large Language Models
von: Zhao, Xuandong, et al.
Veröffentlicht: (2024)

Well Begun is Half Done: Low-resource Preference Alignment by Weak-to-Strong Decoding
von: Song, Feifan, et al.
Veröffentlicht: (2025)

MrRoPE: Mixed-radix Rotary Position Embedding
von: Tian, Qingyuan, et al.
Veröffentlicht: (2026)

Improving Open-Ended Text Generation via Adaptive Decoding
von: Zhu, Wenhong, et al.
Veröffentlicht: (2024)

Hybrid Policy Distillation for LLMs
von: Zhu, Wenhong, et al.
Veröffentlicht: (2026)

Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization
von: Yang, Wenkai, et al.
Veröffentlicht: (2024)

Explanation, Debate, Align: A Weak-to-Strong Framework for Language Model Generalization
von: Zakershahrak, Mehrdad, et al.
Veröffentlicht: (2024)

Reward Modeling with Weak Supervision for Language Models
von: Hauptvogel, Ben, et al.
Veröffentlicht: (2024)

GenTool: Enhancing Tool Generalization in Language Models through Zero-to-One and Weak-to-Strong Simulation
von: He, Jie, et al.
Veröffentlicht: (2025)

Reward-Shifted Speculative Sampling Is An Efficient Test-Time Weak-to-Strong Aligner
von: Li, Bolian, et al.
Veröffentlicht: (2025)

Adding Alignment Control to Language Models
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

W2S-AlignTree: Weak-to-Strong Inference-Time Alignment for Large Language Models via Monte Carlo Tree Search
von: Ding, Zhenyu, et al.
Veröffentlicht: (2025)

Weak-to-Strong Search: Align Large Language Models via Searching over Small Language Models
von: Zhou, Zhanhui, et al.
Veröffentlicht: (2024)

Superfiltering: Weak-to-Strong Data Filtering for Fast Instruction-Tuning
von: Li, Ming, et al.
Veröffentlicht: (2024)

Improving Weak-to-Strong Generalization with Scalable Oversight and Ensemble Learning
von: Sang, Jitao, et al.
Veröffentlicht: (2024)

Incentivizing Strong Reasoning from Weak Supervision
von: Yuan, Yige, et al.
Veröffentlicht: (2025)

The Alignment Floor: How Persona Customization Breaks Safety in Weakly-Aligned LLMs
von: Zhang, Xing, et al.
Veröffentlicht: (2026)

Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems
von: da Silva, Italo Luis, et al.
Veröffentlicht: (2024)

Optimizing Language Model's Reasoning Abilities with Weak Supervision
von: Tong, Yongqi, et al.
Veröffentlicht: (2024)

Selective Weak-to-Strong Generalization
von: Lang, Hao, et al.
Veröffentlicht: (2025)

Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality
von: Ai, Yiming, et al.
Veröffentlicht: (2024)

User Preference Modeling for Conversational LLM Agents: Weak Rewards from Retrieval-Augmented Interaction
von: Hao, Yuren, et al.
Veröffentlicht: (2026)

CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation
von: Cui, Guofeng, et al.
Veröffentlicht: (2025)

Theoretical Analysis of Weak-to-Strong Generalization
von: Lang, Hunter, et al.
Veröffentlicht: (2024)

Debate Helps Weak-to-Strong Generalization
von: Lang, Hao, et al.
Veröffentlicht: (2025)

How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?
von: Cui, Yingqian, et al.
Veröffentlicht: (2026)

Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation
von: Liu, Kaiyuan, et al.
Veröffentlicht: (2026)

Omni-Reward: Towards Generalist Omni-Modal Reward Modeling with Free-Form Preferences
von: Jin, Zhuoran, et al.
Veröffentlicht: (2025)

AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference
von: Han, Yang, et al.
Veröffentlicht: (2024)

Flexible Realignment of Language Models
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

Proximal Supervised Fine-Tuning
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

Safety Alignment in NLP Tasks: Weakly Aligned Summarization as an In-Context Attack
von: Fu, Yu, et al.
Veröffentlicht: (2023)

CLEAN-EVAL: Clean Evaluation on Contaminated Large Language Models
von: Zhu, Wenhong, et al.
Veröffentlicht: (2023)

Synthesizing Text-to-SQL Data from Weak and Strong LLMs
von: Yang, Jiaxi, et al.
Veröffentlicht: (2024)