Buchumschlag

Self-Improving Robust Preference Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Choi, Eugene, Ahmadian, Arash, Geist, Matthieu, Pietquin, Oilvier, Azar, Mohammad Gheshlaghi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion
von: Flet-Berliac, Yannis, et al.
Veröffentlicht: (2024)

Averaging log-likelihoods in direct alignment
von: Grinsztajn, Nathan, et al.
Veröffentlicht: (2024)

Bench-MFG: A Benchmark Suite for Learning in Stationary Mean Field Games
von: Magnino, Lorenzo, et al.
Veröffentlicht: (2026)

A Survey of Temporal Credit Assignment in Deep Reinforcement Learning
von: Pignatelli, Eduardo, et al.
Veröffentlicht: (2023)

RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs
von: Dang, John, et al.
Veröffentlicht: (2024)

The Multilingual Alignment Prism: Aligning Global and Local Preferences to Reduce Harm
von: Aakanksha, et al.
Veröffentlicht: (2024)

Bootstrapping Expectiles in Reinforcement Learning
von: Clavier, Pierre, et al.
Veröffentlicht: (2024)

NatureLM-audio: an Audio-Language Foundation Model for Bioacoustics
von: Robinson, David, et al.
Veröffentlicht: (2024)

Learning in Mean Field Games: A Survey
von: Laurière, Mathieu, et al.
Veröffentlicht: (2022)

SimMerge: Learning to Select Merge Operators from Similarity Signals
von: Bolton, Oliver, et al.
Veröffentlicht: (2026)

Leveraging Procedural Generation for Learning Autonomous Peg-in-Hole Assembly in Space
von: Orsula, Andrej, et al.
Veröffentlicht: (2024)

Space Robotics Bench: Robot Learning Beyond Earth
von: Orsula, Andrej, et al.
Veröffentlicht: (2025)

Learning Tool-Aware Adaptive Compliant Control for Autonomous Regolith Excavation
von: Orsula, Andrej, et al.
Veröffentlicht: (2025)

Sim2Dust: Mastering Dynamic Waypoint Tracking on Granular Media
von: Orsula, Andrej, et al.
Veröffentlicht: (2025)

$λ$-models: Effective Decision-Aware Reinforcement Learning with Latent Models
von: Voelcker, Claas A, et al.
Veröffentlicht: (2023)

On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
von: Agarwal, Rishabh, et al.
Veröffentlicht: (2023)

Robust LLM Alignment via Distributionally Robust Direct Preference Optimization
von: Xu, Zaiyan, et al.
Veröffentlicht: (2025)

On Symmetric Losses for Robust Policy Optimization with Noisy Preferences
von: Nishimori, Soichiro, et al.
Veröffentlicht: (2025)

Rate optimal learning of equilibria from data
von: Freihaut, Till, et al.
Veröffentlicht: (2025)

Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences
von: Rosset, Corby, et al.
Veröffentlicht: (2024)

Self-Consistency Preference Optimization
von: Prasad, Archiki, et al.
Veröffentlicht: (2024)

SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models
von: Yang, Xiaomeng, et al.
Veröffentlicht: (2025)

Understanding Likelihood Over-optimisation in Direct Alignment Algorithms
von: Shi, Zhengyan, et al.
Veröffentlicht: (2024)

Offline Regularised Reinforcement Learning for Large Language Models Alignment
von: Richemond, Pierre Harvey, et al.
Veröffentlicht: (2024)

FairPO: Robust Preference Optimization for Fair Multi-Label Learning
von: Mondal, Soumen Kumar, et al.
Veröffentlicht: (2025)

InSPO: Unlocking Intrinsic Self-Reflection for LLM Preference Optimization
von: Li, Yu, et al.
Veröffentlicht: (2025)

KL Penalty Control via Perturbation for Direct Preference Optimization
von: Lee, Sangkyu, et al.
Veröffentlicht: (2025)

Direct Alignment with Heterogeneous Preferences
von: Shirali, Ali, et al.
Veröffentlicht: (2025)

AMPO: Active Multi-Preference Optimization for Self-play Preference Selection
von: Gupta, Taneesh, et al.
Veröffentlicht: (2025)

TGPO: Tree-Guided Preference Optimization for Robust Web Agent Reinforcement Learning
von: Chen, Ziyuan, et al.
Veröffentlicht: (2025)

Improving Inverse Folding for Peptide Design with Diversity-regularized Direct Preference Optimization
von: Park, Ryan, et al.
Veröffentlicht: (2024)

Improving Protein Sequence Design through Designability Preference Optimization
von: Xue, Fanglei, et al.
Veröffentlicht: (2025)

TSO: Self-Training with Scaled Preference Optimization
von: Chen, Kaihui, et al.
Veröffentlicht: (2024)

Thinking Preference Optimization
von: Yang, Wang, et al.
Veröffentlicht: (2025)

C2-DPO: Constrained Controlled Direct Preference Optimization
von: Asadi, Kavosh, et al.
Veröffentlicht: (2025)

Nash Learning from Human Feedback
von: Munos, Rémi, et al.
Veröffentlicht: (2023)

ROPO: Robust Preference Optimization for Large Language Models
von: Liang, Xize, et al.
Veröffentlicht: (2024)

Optimizing Deep Neural Networks using Safety-Guided Self Compression
von: Zbeeb, Mohammad, et al.
Veröffentlicht: (2025)

FILS: Self-Supervised Video Feature Prediction In Semantic Language Space
von: Ahmadian, Mona, et al.
Veröffentlicht: (2024)

SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression
von: Xu, Yuyang, et al.
Veröffentlicht: (2025)