Buchumschlag

RSPO: Regularized Self-Play Alignment of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tang, Xiaohang, Yoon, Sangwoong, Son, Seongho, Yuan, Huizhuo, Gu, Quanquan, Bogunovic, Ilija
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust Multi-Objective Controlled Decoding of Large Language Models
von: Son, Seongho, et al.
Veröffentlicht: (2025)

wd1: Weighted Policy Optimization for Reasoning in Diffusion Language Models
von: Tang, Xiaohang, et al.
Veröffentlicht: (2025)

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models
von: Tang, Xiaohang, et al.
Veröffentlicht: (2026)

Accelerated Preference Optimization for Large Language Model Alignment
von: He, Jiafan, et al.
Veröffentlicht: (2024)

Self-Play Preference Optimization for Language Model Alignment
von: Wu, Yue, et al.
Veröffentlicht: (2024)

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
von: Chen, Zixiang, et al.
Veröffentlicht: (2024)

Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation
von: Yuan, Huizhuo, et al.
Veröffentlicht: (2024)

Adversarially Robust Decision Transformer
von: Tang, Xiaohang, et al.
Veröffentlicht: (2024)

This Is Your Doge, If It Please You: Exploring Deception and Robustness in Mixture of LLMs
von: Wolf, Lorenz, et al.
Veröffentlicht: (2025)

On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?
von: Ziomek, Juliusz, et al.
Veröffentlicht: (2026)

Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time
von: Chen, Zixiang, et al.
Veröffentlicht: (2023)

Multi-Task GRPO: Reliable LLM Reasoning Across Tasks
von: Ramesh, Shyam Sundhar, et al.
Veröffentlicht: (2026)

Distributionally Robust Model-based Reinforcement Learning with Large State Spaces
von: Ramesh, Shyam Sundhar, et al.
Veröffentlicht: (2023)

ConfRover: Simultaneous Modeling of Protein Conformation and Dynamics via Autoregression
von: Shen, Yuning, et al.
Veröffentlicht: (2025)

RSPO: Risk-Seeking Policy Optimization for Pass@k and Max@k Metrics in Large Language Models
von: Zhang, Kaichen, et al.
Veröffentlicht: (2025)

Overton Pluralistic Reinforcement Learning for Large Language Models
von: Fu, Yu, et al.
Veröffentlicht: (2026)

Tensor Product Attention Is All You Need
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

Right Now, Wrong Then: Non-Stationary Direct Preference Optimization under Preference Drift
von: Son, Seongho, et al.
Veröffentlicht: (2024)

Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment
von: Zhang, Yifan, et al.
Veröffentlicht: (2024)

PROWL: Prioritized Regret-Driven Optimization for World Model Learning
von: Güzel, Ahmet H., et al.
Veröffentlicht: (2026)

Maximum Entropy Inverse Reinforcement Learning of Diffusion Models with Energy-Based Models
von: Yoon, Sangwoong, et al.
Veröffentlicht: (2024)

Sample Efficient Preference Alignment in LLMs via Active Exploration
von: Mehta, Viraj, et al.
Veröffentlicht: (2023)

Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves
von: Deng, Yihe, et al.
Veröffentlicht: (2023)

Synthetic Data is Sufficient for Zero-Shot Visual Generalization from Offline Data
von: Güzel, Ahmet H., et al.
Veröffentlicht: (2025)

Semantic-aware Wasserstein Policy Regularization for Large Language Model Alignment
von: Na, Byeonghu, et al.
Veröffentlicht: (2026)

Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment
von: Tan, Zhewen, et al.
Veröffentlicht: (2026)

Variance-Dependent Regret Lower Bounds for Contextual Bandits
von: He, Jiafan, et al.
Veröffentlicht: (2025)

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models
von: Cheng, Jiale, et al.
Veröffentlicht: (2024)

Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
von: Ji, Xiang, et al.
Veröffentlicht: (2024)

Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences?
von: Gu, Zhuojun, et al.
Veröffentlicht: (2025)

MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
von: Hwang, Himchan, et al.
Veröffentlicht: (2026)

MARS: Unleashing the Power of Variance Reduction for Training Large Models
von: Yuan, Huizhuo, et al.
Veröffentlicht: (2024)

Near-Optimal Regret for KL-Regularized Multi-Armed Bandits
von: Ji, Kaixuan, et al.
Veröffentlicht: (2026)

On the Optimal Sample Complexity of Offline Multi-Armed Bandits with KL Regularization
von: Ji, Kaixuan, et al.
Veröffentlicht: (2026)

Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits
von: Zhao, Qingyue, et al.
Veröffentlicht: (2025)

On the Robustness of Reward Models for Language Model Alignment
von: Hong, Jiwoo, et al.
Veröffentlicht: (2025)

Robust Layerwise Scaling Rules by Proper Weight Decay Tuning
von: Fan, Zhiyuan, et al.
Veröffentlicht: (2025)

Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance
von: Zhao, Linxi, et al.
Veröffentlicht: (2024)