Buchumschlag

RLP: Reinforcement as a Pretraining Objective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hatamizadeh, Ali, Akter, Syeda Nahida, Prabhumoye, Shrimai, Kautz, Jan, Patwary, Mostofa, Shoeybi, Mohammad, Catanzaro, Bryan, Choi, Yejin
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data
von: Akter, Syeda Nahida, et al.
Veröffentlicht: (2025)

MIND: Math Informed syNthetic Dialogues for Pretraining LLMs
von: Akter, Syeda Nahida, et al.
Veröffentlicht: (2024)

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset
von: Mahabadi, Rabeeh Karimi, et al.
Veröffentlicht: (2025)

Maximize Your Data's Potential: Enhancing LLM Accuracy with Two-Phase Pretraining
von: Feng, Steven, et al.
Veröffentlicht: (2024)

Nemotron-CrossThink: Scaling Self-Learning beyond Math Reasoning
von: Akter, Syeda Nahida, et al.
Veröffentlicht: (2025)

Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning
von: Lu, Ximing, et al.
Veröffentlicht: (2025)

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning
von: Jung, Jaehun, et al.
Veröffentlicht: (2025)

Compact Language Models via Pruning and Knowledge Distillation
von: Muralidharan, Saurav, et al.
Veröffentlicht: (2024)

Data, Data Everywhere: A Guide for Pretraining Dataset Construction
von: Parmar, Jupinder, et al.
Veröffentlicht: (2024)

Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
von: Parmar, Jupinder, et al.
Veröffentlicht: (2024)

iGRPO: Self-Feedback-Driven LLM Reasoning
von: Hatamizadeh, Ali, et al.
Veröffentlicht: (2026)

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages
von: Cui, Brandon, et al.
Veröffentlicht: (2026)

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
von: Hatamizadeh, Ali, et al.
Veröffentlicht: (2026)

AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling
von: Liu, Zihan, et al.
Veröffentlicht: (2024)

InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining
von: Wang, Boxin, et al.
Veröffentlicht: (2023)

Self-Imagine: Effective Unimodal Reasoning with Multimodal Models using Self-Imagination
von: Akter, Syeda Nahida, et al.
Veröffentlicht: (2024)

AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning
von: Chen, Yang, et al.
Veröffentlicht: (2025)

Nemotron-4 15B Technical Report
von: Parmar, Jupinder, et al.
Veröffentlicht: (2024)

AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy
von: Liu, Zihan, et al.
Veröffentlicht: (2025)

RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models
von: Huang, Jie, et al.
Veröffentlicht: (2023)

LLM Pruning and Distillation in Practice: The Minitron Approach
von: Sreenivas, Sharath Turuvekere, et al.
Veröffentlicht: (2024)

From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models
von: Xu, Chejian, et al.
Veröffentlicht: (2025)

ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities
von: Xu, Peng, et al.
Veröffentlicht: (2024)

NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
von: Lee, Chankyu, et al.
Veröffentlicht: (2024)

ChatQA: Surpassing GPT-4 on Conversational QA and RAG
von: Liu, Zihan, et al.
Veröffentlicht: (2024)

Nemotron-CC: Transforming Common Crawl into a Refined Long-Horizon Pretraining Dataset
von: Su, Dan, et al.
Veröffentlicht: (2024)

ODIN: Disentangled Reward Mitigates Hacking in RLHF
von: Chen, Lichang, et al.
Veröffentlicht: (2024)

Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models
von: Wang, Boxin, et al.
Veröffentlicht: (2025)

RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
von: Yu, Yue, et al.
Veröffentlicht: (2024)

Gated Delta Networks: Improving Mamba2 with Delta Rule
von: Yang, Songlin, et al.
Veröffentlicht: (2024)

MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs
von: Lin, Sheng-Chieh, et al.
Veröffentlicht: (2024)

Upcycling Large Language Models into Mixture of Experts
von: He, Ethan, et al.
Veröffentlicht: (2024)

Retrieval meets Long Context Large Language Models
von: Xu, Peng, et al.
Veröffentlicht: (2023)

DiffiT: Diffusion Vision Transformers for Image Generation
von: Hatamizadeh, Ali, et al.
Veröffentlicht: (2023)

Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning
von: Zhang, Shaokun, et al.
Veröffentlicht: (2025)

ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
von: Liu, Mingjie, et al.
Veröffentlicht: (2025)

DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2025)

FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data
von: Feng, Tao, et al.
Veröffentlicht: (2025)

ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge
von: Wang, Zhilin, et al.
Veröffentlicht: (2025)

NVLM: Open Frontier-Class Multimodal LLMs
von: Dai, Wenliang, et al.
Veröffentlicht: (2024)