Buchumschlag

Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Haoran, Dong, Qingxiu, Tang, Zhengyang, Wang, Chaojun, Zhang, Xingxing, Huang, Haoyang, Huang, Shaohan, Huang, Xiaolong, Huang, Zeqiang, Zhang, Dongdong, Gu, Yuxian, Cheng, Xin, Wang, Xun, Chen, Si-Qing, Dong, Li, Lu, Wei, Sui, Zhifang, Wang, Benyou, Lam, Wai, Wei, Furu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self-Boosting Large Language Models with Synthetic Preference Data
von: Dong, Qingxiu, et al.
Veröffentlicht: (2024)

Online Experiential Learning for Language Models
von: Ye, Tianzhu, et al.
Veröffentlicht: (2026)

Reward Reasoning Model
von: Guo, Jiaxin, et al.
Veröffentlicht: (2025)

The Era of Agentic Organization: Learning to Organize with Language Models
von: Chi, Zewen, et al.
Veröffentlicht: (2025)

Towards Optimal Learning of Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2024)

MathScale: Scaling Instruction Tuning for Mathematical Reasoning
von: Tang, Zhengyang, et al.
Veröffentlicht: (2024)

Data Selection via Optimal Control for Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2024)

Think Only When You Need with Large Hybrid-Reasoning Models
von: Jiang, Lingjie, et al.
Veröffentlicht: (2025)

Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation
von: Wu, Xun, et al.
Veröffentlicht: (2024)

Mixture of LoRA Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts
von: Zhang, Di, et al.
Veröffentlicht: (2025)

Multi-Head Mixture-of-Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

On-Policy Context Distillation for Language Models
von: Ye, Tianzhu, et al.
Veröffentlicht: (2026)

VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models
von: Jiang, Lingjie, et al.
Veröffentlicht: (2025)

Chain-of-Dictionary Prompting Elicits Translation in Large Language Models
von: Lu, Hongyuan, et al.
Veröffentlicht: (2023)

MiniLLM: On-Policy Distillation of Large Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2023)

Thinking Augmented Pre-training
von: Wang, Liang, et al.
Veröffentlicht: (2025)

Reinforcement Pre-Training
von: Dong, Qingxiu, et al.
Veröffentlicht: (2025)

WildLong: Synthesizing Realistic Long-Context Instruction Data at Scale
von: Li, Jiaxi, et al.
Veröffentlicht: (2025)

Instruction Pre-Training: Language Models are Supervised Multitask Learners
von: Cheng, Daixuan, et al.
Veröffentlicht: (2024)

Textual Aesthetics in Large Language Models
von: Jiang, Lingjie, et al.
Veröffentlicht: (2024)

MH-MoE: Multi-Head Mixture-of-Experts
von: Huang, Shaohan, et al.
Veröffentlicht: (2024)

Black-Box On-Policy Distillation of Large Language Models
von: Ye, Tianzhu, et al.
Veröffentlicht: (2025)

On-Policy RL with Optimal Reward Baseline
von: Hao, Yaru, et al.
Veröffentlicht: (2025)

Bootstrap Your Own Context Length
von: Wang, Liang, et al.
Veröffentlicht: (2024)

Decoding in Geometry: Alleviating Embedding-Space Crowding for Complex Reasoning
von: Yang, Yixin, et al.
Veröffentlicht: (2026)

BitNet Distillation
von: Wu, Xun, et al.
Veröffentlicht: (2025)

Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity
von: Zhang, Di, et al.
Veröffentlicht: (2026)

Adapting Large Language Models to Domains via Reading Comprehension
von: Cheng, Daixuan, et al.
Veröffentlicht: (2023)

Universal YOCO for Efficient Depth Scaling
von: Sun, Yutao, et al.
Veröffentlicht: (2026)

Scaling Laws of Synthetic Data for Language Models
von: Qin, Zeyu, et al.
Veröffentlicht: (2025)

Kosmos-G: Generating Images in Context with Multimodal Large Language Models
von: Pan, Xichen, et al.
Veröffentlicht: (2023)

Can Large Multimodal Models Uncover Deep Semantics Behind Images?
von: Yang, Yixin, et al.
Veröffentlicht: (2024)

BitNet b1.58 2B4T Technical Report
von: Ma, Shuming, et al.
Veröffentlicht: (2025)

Multimodal Latent Language Modeling with Next-Token Diffusion
von: Sun, Yutao, et al.
Veröffentlicht: (2024)

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning
von: Li, Zheng, et al.
Veröffentlicht: (2025)

RefineRL: Advancing Competitive Programming with Self-Refinement Reinforcement Learning
von: Fu, Shaopeng, et al.
Veröffentlicht: (2026)

You Only Cache Once: Decoder-Decoder Architectures for Language Models
von: Sun, Yutao, et al.
Veröffentlicht: (2024)

Computer Environments Elicit General Agentic Intelligence in LLMs
von: Cheng, Daixuan, et al.
Veröffentlicht: (2026)

RICo: Refined In-Context Contribution for Automatic Instruction-Tuning Data Selection
von: Yang, Yixin, et al.
Veröffentlicht: (2025)