Buchumschlag

Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rosset, Corby, Cheng, Ching-An, Mitra, Arindam, Santacroce, Michael, Awadallah, Ahmed, Xie, Tengyang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Orca-Math: Unlocking the potential of SLMs in Grade School Math
von: Mitra, Arindam, et al.
Veröffentlicht: (2024)

Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
von: Xie, Tengyang, et al.
Veröffentlicht: (2024)

AgentInstruct: Toward Generative Teaching with Agentic Flows
von: Mitra, Arindam, et al.
Veröffentlicht: (2024)

Explorer: Scaling Exploration-driven Web Trajectory Synthesis for Multimodal Web Agents
von: Pahuja, Vardaan, et al.
Veröffentlicht: (2025)

Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents
von: Rosset, Corby, et al.
Veröffentlicht: (2024)

Multiplayer Nash Preference Optimization
von: Wu, Fang, et al.
Veröffentlicht: (2025)

The Art of Building Verifiers for Computer Use Agents
von: Rosset, Corby, et al.
Veröffentlicht: (2026)

Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models
von: Ji, Xiang, et al.
Veröffentlicht: (2024)

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
von: Huang, Audrey, et al.
Veröffentlicht: (2024)

POLCA: Stochastic Generative Optimization with LLM
von: Ren, Xuanfei, et al.
Veröffentlicht: (2026)

Automatic Pair Construction for Contrastive Post-training
von: Xu, Canwen, et al.
Veröffentlicht: (2023)

Fara-7B: An Efficient Agentic Model for Computer Use
von: Awadallah, Ahmed, et al.
Veröffentlicht: (2025)

Breaking the Capability Ceiling of LLM Post-Training by Reintroducing Markov States
von: Yuan, Yurun, et al.
Veröffentlicht: (2026)

Reinforce LLM Reasoning through Multi-Agent Reflection
von: Yuan, Yurun, et al.
Veröffentlicht: (2025)

Knowledge Editing in Language Models via Adapted Direct Preference Optimization
von: Rozner, Amit, et al.
Veröffentlicht: (2024)

Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness
von: Li, Jian, et al.
Veröffentlicht: (2024)

Improving Grounded Language Understanding in a Collaborative Environment by Interacting with Agents Through Help Feedback
von: Mehta, Nikhil, et al.
Veröffentlicht: (2023)

Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization
von: Wu, Junkang, et al.
Veröffentlicht: (2024)

SGPO: Self-Generated Preference Optimization based on Self-Improver
von: Lee, Hyeonji, et al.
Veröffentlicht: (2025)

RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization
von: Bao, Qiming, et al.
Veröffentlicht: (2026)

Self-Play Preference Optimization for Language Model Alignment
von: Wu, Yue, et al.
Veröffentlicht: (2024)

Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization
von: Savage, Thomas, et al.
Veröffentlicht: (2024)

Token-level Direct Preference Optimization
von: Zeng, Yongcheng, et al.
Veröffentlicht: (2024)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model
von: Rafailov, Rafael, et al.
Veröffentlicht: (2023)

Preference Packing: Efficient Preference Optimization for Large Language Models
von: Cho, Jaekyung
Veröffentlicht: (2026)

Improving Attributed Text Generation of Large Language Models via Preference Learning
von: Li, Dongfang, et al.
Veröffentlicht: (2024)

Recursive Introspection: Teaching Language Model Agents How to Self-Improve
von: Qu, Yuxiao, et al.
Veröffentlicht: (2024)

Preference Alignment Improves Language Model-Based TTS
von: Tian, Jinchuan, et al.
Veröffentlicht: (2024)

Filtered Direct Preference Optimization
von: Morimura, Tetsuro, et al.
Veröffentlicht: (2024)

Direct Preference Optimization with an Offset
von: Amini, Afra, et al.
Veröffentlicht: (2024)

Large Language Models Can Self-Improve in Long-context Reasoning
von: Li, Siheng, et al.
Veröffentlicht: (2024)

Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level
von: Liu, Jie, et al.
Veröffentlicht: (2024)

Mitigating Hallucination in Multimodal Large Language Model via Hallucination-targeted Direct Preference Optimization
von: Fu, Yuhan, et al.
Veröffentlicht: (2024)

Weights-Rotated Preference Optimization for Large Language Models
von: Yang, Chenxu, et al.
Veröffentlicht: (2025)

Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
von: Singh, Joykirat, et al.
Veröffentlicht: (2025)

LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
von: Parmar, Mihir, et al.
Veröffentlicht: (2024)

Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models
von: Huang, Liangjie, et al.
Veröffentlicht: (2025)

Self-Boosting Large Language Models with Synthetic Preference Data
von: Dong, Qingxiu, et al.
Veröffentlicht: (2024)

The Importance of Directional Feedback for LLM-based Optimizers
von: Nie, Allen, et al.
Veröffentlicht: (2024)

Entropy Controllable Direct Preference Optimization
von: Omura, Motoki, et al.
Veröffentlicht: (2024)