Buchumschlag

Learning to Adapt SFT Data for Better Reasoning Generalization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Lisong, Wang, Li, Zhang, Chen, Wu, Jinyang, Zhang, Kui, Peng, Tianhao, Wu, Wenjun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TAMTRL: Teacher-Aligned Reward Reshaping for Multi-Turn Reinforcement Learning in Long-Context Compression
von: Wang, Li, et al.
Veröffentlicht: (2026)

Beyond SFT: Reinforcement Learning for Safer Large Reasoning Models with Better Reasoning Ability
von: Jia, Jinghan, et al.
Veröffentlicht: (2025)

Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning
von: Zhao, Shangziqi, et al.
Veröffentlicht: (2025)

Decoupling Understanding from Reasoning via Problem Space Mapping for Small-Scale Model Reasoning
von: Wang, Li, et al.
Veröffentlicht: (2025)

The Synergy Dilemma of Long-CoT SFT and RL: Investigating Post-Training Techniques for Reasoning VLMs
von: Chen, Jierun, et al.
Veröffentlicht: (2025)

TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs
von: Wang, Ziyi, et al.
Veröffentlicht: (2026)

Hint Tuning: Less Data Makes Better Reasoners
von: Fan, Siqi, et al.
Veröffentlicht: (2026)

Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning
von: Chen, Liang, et al.
Veröffentlicht: (2025)

DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning
von: Hu, Hanxu, et al.
Veröffentlicht: (2026)

Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction
von: Li, Guozheng, et al.
Veröffentlicht: (2024)

ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL
von: Zhang, Yu, et al.
Veröffentlicht: (2025)

OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles
von: Deng, Yihe, et al.
Veröffentlicht: (2025)

Minor SFT loss for LLM fine-tune to increase performance and reduce model deviation
von: Xie, Shiming, et al.
Veröffentlicht: (2024)

Parallel-SFT: Improving Zero-Shot Cross-Programming-Language Transfer for Code RL
von: Wu, Zhaofeng, et al.
Veröffentlicht: (2026)

Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS
von: Wu, Jinyang, et al.
Veröffentlicht: (2024)

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
von: Huang, Zixian, et al.
Veröffentlicht: (2026)

Learning from Semi-Factuals: A Debiased and Semantic-Aware Framework for Generalized Relation Discovery
von: Wang, Jiaxin, et al.
Veröffentlicht: (2024)

Continual SFT Matches Multimodal RLHF with Negative Supervision
von: Zhu, Ke, et al.
Veröffentlicht: (2024)

Learning to Adapt to Low-Resource Paraphrase Generation
von: Li, Zhigen, et al.
Veröffentlicht: (2024)

SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs
von: Lin, Jiacheng, et al.
Veröffentlicht: (2025)

Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?
von: Sun, Yiyou, et al.
Veröffentlicht: (2025)

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives
von: Wang, Zecheng, et al.
Veröffentlicht: (2026)

Learning to Self-Verify Makes Language Models Better Reasoners
von: Chen, Yuxin, et al.
Veröffentlicht: (2026)

RedStar: Does Scaling Long-CoT Data Unlock Better Slow-Reasoning Systems?
von: Xu, Haotian, et al.
Veröffentlicht: (2025)

Mixed Distillation Helps Smaller Language Model Better Reasoning
von: Li, Chenglin, et al.
Veröffentlicht: (2023)

Automatically Generating Numerous Context-Driven SFT Data for LLMs across Diverse Granularity
von: Quan, Shanghaoran
Veröffentlicht: (2024)

Implicit Hierarchical GRPO: Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning
von: Wang, Li, et al.
Veröffentlicht: (2026)

Advantageous Parameter Expansion Training Makes Better Large Language Models
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
von: Wang, Qiongqiong, et al.
Veröffentlicht: (2025)

Your Reasoning Benchmark May Not Test Reasoning: Revealing Perception Bottleneck in Abstract Reasoning Benchmarks
von: Wang, Xinhe, et al.
Veröffentlicht: (2025)

SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models
von: Chen, Hardy, et al.
Veröffentlicht: (2025)

ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection
von: Liu, Tao, et al.
Veröffentlicht: (2026)

Better Zero-Shot Reasoning with Role-Play Prompting
von: Kong, Aobo, et al.
Veröffentlicht: (2023)

Synthetic Data Generation for Training Diversified Commonsense Reasoning Models
von: Zhang, Tianhui, et al.
Veröffentlicht: (2026)

RLSR: Reinforcement Learning with Supervised Reward Outperforms SFT in Instruction Following
von: Wang, Zhichao, et al.
Veröffentlicht: (2025)

From Imitation to Discrimination: Toward A Generalized Curriculum Advantage Mechanism Enhancing Cross-Domain Reasoning Tasks
von: Yang, Changpeng, et al.
Veröffentlicht: (2025)

IMAGINE: Integrating Multi-Agent System into One Model for Complex Reasoning and Planning
von: Zhang, Xikai, et al.
Veröffentlicht: (2025)

Beyond path selection: Better LLMs for Scientific Information Extraction with MimicSFT and Relevance and Rule-induced(R$^2$)GRPO
von: Li, Ran, et al.
Veröffentlicht: (2025)

Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead
von: Kang, Feiyang, et al.
Veröffentlicht: (2025)

Ada-Instruct: Adapting Instruction Generators for Complex Reasoning
von: Cui, Wanyun, et al.
Veröffentlicht: (2023)