Buchumschlag

Minimum Tuning to Unlock Long Output from LLMs with High Quality Data as the Key

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Yingda, Wang, Xingjun, Huang, Jintao, Mao, Yunlin, Zhang, Daoze, Zhao, Yuze
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SWIFT:A Scalable lightWeight Infrastructure for Fine-Tuning
von: Zhao, Yuze, et al.
Veröffentlicht: (2024)

LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
von: Mao, Yansheng, et al.
Veröffentlicht: (2025)

Measuring LLM Novelty As The Frontier Of Original And High-Quality Output
von: Padmakumar, Vishakh, et al.
Veröffentlicht: (2025)

LongDPO: Unlock Better Long-form Generation Abilities for LLMs via Critique-augmented Stepwise Information
von: Ping, Bowen, et al.
Veröffentlicht: (2025)

Shifting Long-Context LLMs Research from Input to Output
von: Wu, Yuhao, et al.
Veröffentlicht: (2025)

How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data
von: Wang, Yejie, et al.
Veröffentlicht: (2024)

FANNO: Augmenting High-Quality Instruction Data with Open-Sourced LLMs Only
von: Zhu, He, et al.
Veröffentlicht: (2024)

Leveraging Web-Crawled Data for High-Quality Fine-Tuning
von: Zhou, Jing, et al.
Veröffentlicht: (2024)

Unlocking Latent Discourse Translation in LLMs Through Quality-Aware Decoding
von: Mohammed, Wafaa, et al.
Veröffentlicht: (2025)

PACIT: Unlocking the Power of Examples for Better In-Context Instruction Tuning
von: Xue, Tianci, et al.
Veröffentlicht: (2023)

SoLoPO: Unlocking Long-Context Capabilities in LLMs via Short-to-Long Preference Optimization
von: Sun, Huashan, et al.
Veröffentlicht: (2025)

LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs
von: Long, Do Xuan, et al.
Veröffentlicht: (2024)

CLUES: Collaborative High-Quality Data Selection for LLMs via Training Dynamics
von: Zhao, Wanru, et al.
Veröffentlicht: (2025)

VersaTune: An Efficient Data Composition Framework for Training Multi-Capability LLMs
von: Lu, Keer, et al.
Veröffentlicht: (2024)

Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection
von: Chen, Ruibo, et al.
Veröffentlicht: (2024)

Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key
von: Wang, Tianle, et al.
Veröffentlicht: (2026)

Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding
von: Jinnai, Yuu, et al.
Veröffentlicht: (2024)

Preference Learning Unlocks LLMs' Psycho-Counseling Skills
von: Zhang, Mian, et al.
Veröffentlicht: (2025)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

From Output to Evaluation: Does Raw Instruction-Tuned Code LLMs Output Suffice for Fill-in-the-Middle Code Generation?
von: Ahmad, Wasi Uddin, et al.
Veröffentlicht: (2025)

RIRO: Reshaping Inputs, Refining Outputs Unlocking the Potential of Large Language Models in Data-Scarce Contexts
von: Hamdi, Ali, et al.
Veröffentlicht: (2024)

Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

DataSculpt: Crafting Data Landscapes for Long-Context LLMs through Multi-Objective Partitioning
von: Lu, Keer, et al.
Veröffentlicht: (2024)

BitDecoding: Unlocking Tensor Cores for Long-Context LLMs with Low-Bit KV Cache
von: Du, Dayou, et al.
Veröffentlicht: (2025)

Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference
von: Xiao, Qingfa, et al.
Veröffentlicht: (2025)

ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization
von: Wu, Xixi, et al.
Veröffentlicht: (2025)

Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning
von: Deng, Jia, et al.
Veröffentlicht: (2025)

Span-level Emotion-Cause-Category Triplet Extraction with Instruction Tuning LLMs and Data Augmentation
von: Li, Xiangju, et al.
Veröffentlicht: (2025)

Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data
von: Gu, Shuhao, et al.
Veröffentlicht: (2024)

60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering
von: Ye, Junjie, et al.
Veröffentlicht: (2024)

From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning
von: Li, Ming, et al.
Veröffentlicht: (2023)

Unlocking LLMs: Addressing Scarce Data and Bias Challenges in Mental Health
von: Kumar, Vivek, et al.
Veröffentlicht: (2024)

GneissWeb: Preparing High Quality Data for LLMs at Scale
von: Gohari, Hajar Emami, et al.
Veröffentlicht: (2025)

A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems
von: Liu, Yuze, et al.
Veröffentlicht: (2025)

Ensuring Safe and High-Quality Outputs: A Guideline Library Approach for Language Models
von: Luo, Yi, et al.
Veröffentlicht: (2024)

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation
von: Chen, Junjie, et al.
Veröffentlicht: (2026)

CoachLM: Automatic Instruction Revisions Improve the Data Quality in LLM Instruction Tuning
von: Liu, Yilun, et al.
Veröffentlicht: (2023)

G2: Guided Generation for Enhanced Output Diversity in LLMs
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)