Buchumschlag

Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Liang, Han, Xueting, Shen, Li, Bai, Jing, Wong, Kam-Fai
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget
von: Chen, Liang, et al.
Veröffentlicht: (2025)

The Synergy Dilemma of Long-CoT SFT and RL: Investigating Post-Training Techniques for Reasoning VLMs
von: Chen, Jierun, et al.
Veröffentlicht: (2025)

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
von: Limozin, Alexis, et al.
Veröffentlicht: (2026)

DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning
von: Hu, Hanxu, et al.
Veröffentlicht: (2026)

SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models
von: Chen, Hardy, et al.
Veröffentlicht: (2025)

Vulnerability-Aware Alignment: Mitigating Uneven Forgetting in Harmful Fine-Tuning
von: Chen, Liang, et al.
Veröffentlicht: (2025)

First SFT, Second RL, Third UPT: Continual Improving Multi-Modal LLM Reasoning via Unsupervised Post-Training
von: Wei, Lai, et al.
Veröffentlicht: (2025)

FReM: A Flexible Reasoning Mechanism for Balancing Quick and Slow Thinking in Long-Context Question Answering
von: Zhao, Zhengyi, et al.
Veröffentlicht: (2025)

PEARL: Towards Permutation-Resilient LLMs
von: Chen, Liang, et al.
Veröffentlicht: (2025)

Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL
von: Wang, Sudong, et al.
Veröffentlicht: (2026)

Counterspeech for Mitigating the Influence of Media Bias: Comparing Human and LLM-Generated Responses
von: Lin, Luyang, et al.
Veröffentlicht: (2025)

Dual-Density Inference for Efficient Language Model Reasoning
von: Zhao, Zhengyi, et al.
Veröffentlicht: (2025)

Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead
von: Kang, Feiyang, et al.
Veröffentlicht: (2025)

IndiVec: An Exploration of Leveraging Large Language Models for Media Bias Detection with Fine-Grained Bias Indicators
von: Lin, Luyang, et al.
Veröffentlicht: (2024)

NutePrune: Efficient Progressive Pruning with Numerous Teachers for Large Language Models
von: Li, Shengrui, et al.
Veröffentlicht: (2024)

WHERE and WHICH: Iterative Debate for Biomedical Synthetic Data Augmentation
von: Zhao, Zhengyi, et al.
Veröffentlicht: (2025)

ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL
von: Zhang, Yu, et al.
Veröffentlicht: (2025)

Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond
von: Wen, Liang, et al.
Veröffentlicht: (2025)

Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models
von: Wang, Rui, et al.
Veröffentlicht: (2025)

Self-Guard: Empower the LLM to Safeguard Itself
von: Wang, Zezhong, et al.
Veröffentlicht: (2023)

Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation
von: Zhao, Anhao, et al.
Veröffentlicht: (2026)

Beyond SFT: Reinforcement Learning for Safer Large Reasoning Models with Better Reasoning Ability
von: Jia, Jinghan, et al.
Veröffentlicht: (2025)

Self-Reasoning Language Models: Unfold Hidden Reasoning Chains with Few Reasoning Catalyst
von: Wang, Hongru, et al.
Veröffentlicht: (2025)

OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles
von: Deng, Yihe, et al.
Veröffentlicht: (2025)

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy
von: Liu, Zihan, et al.
Veröffentlicht: (2025)

Learning to Adapt SFT Data for Better Reasoning Generalization
von: Sun, Lisong, et al.
Veröffentlicht: (2026)

Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning
von: Xi, Zhiheng, et al.
Veröffentlicht: (2025)

Beyond Distillation: Pushing the Limits of Medical LLM Reasoning with Minimalist Rule-Based RL
von: Liu, Che, et al.
Veröffentlicht: (2025)

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
von: Huang, Zixian, et al.
Veröffentlicht: (2026)

GraphDancer: Training LLMs to Explore and Reason over Graphs via Two-Stage Curriculum Post-Training
von: Bai, Yuyang, et al.
Veröffentlicht: (2026)

ReSURE: Regularizing Supervision Unreliability for Multi-turn Dialogue Fine-tuning
von: Du, Yiming, et al.
Veröffentlicht: (2025)

A Comprehensive Evaluation on Event Reasoning of Large Language Models
von: Tao, Zhengwei, et al.
Veröffentlicht: (2024)

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT
von: Wang, Jiacheng, et al.
Veröffentlicht: (2026)

Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning
von: Wang, Zezhong, et al.
Veröffentlicht: (2025)

Guard Vector: Beyond English LLM Guardrails with Task-Vector Composition and Streaming-Aware Prefix SFT
von: Lee, Wonhyuk, et al.
Veröffentlicht: (2025)

Parallel-SFT: Improving Zero-Shot Cross-Programming-Language Transfer for Code RL
von: Wu, Zhaofeng, et al.
Veröffentlicht: (2026)

MemGuide: Intent-Driven Memory Selection for Goal-Oriented Multi-Session LLM Agents
von: Du, Yiming, et al.
Veröffentlicht: (2025)

ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis
von: Wang, Zezhong, et al.
Veröffentlicht: (2024)

Rethinking Memory in LLM based Agents: Representations, Operations, and Emerging Topics
von: Du, Yiming, et al.
Veröffentlicht: (2025)

RLSR: Reinforcement Learning with Supervised Reward Outperforms SFT in Instruction Following
von: Wang, Zhichao, et al.
Veröffentlicht: (2025)