Copertina

Threshold Filtering Packing for Supervised Fine-Tuning: Training Related Samples within Packs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Dong, Jiancheng, Jiang, Lei, Jin, Wei, Cheng, Lu
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Packing Analysis: Packing Is More Appropriate for Large Models or Datasets in Supervised Fine-tuning
di: Wang, Shuhe, et al.
Pubblicazione: (2024)

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
di: Huang, Zeyu, et al.
Pubblicazione: (2025)

Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
di: Lin, Zekai, et al.
Pubblicazione: (2026)

Anchored Supervised Fine-Tuning
di: Zhu, He, et al.
Pubblicazione: (2025)

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
di: Du, Yupei, et al.
Pubblicazione: (2023)

Active Learning for Identifying Disaster-Related Tweets: A Comparison with Keyword Filtering and Generic Fine-Tuning
di: Hanny, David, et al.
Pubblicazione: (2024)

UFT: Unifying Supervised and Reinforcement Fine-Tuning
di: Liu, Mingyang, et al.
Pubblicazione: (2025)

Proximal Supervised Fine-Tuning
di: Zhu, Wenhong, et al.
Pubblicazione: (2025)

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing
di: Rang, Miao, et al.
Pubblicazione: (2026)

API Pack: A Massive Multi-Programming Language Dataset for API Call Generation
di: Guo, Zhen, et al.
Pubblicazione: (2024)

Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning
di: Yu, Yongcan, et al.
Pubblicazione: (2025)

Supervised Fine-Tuning as Inverse Reinforcement Learning
di: Sun, Hao
Pubblicazione: (2024)

Knowledge Fusion of Large Language Models Via Modular SkillPacks
di: Du, Guodong, et al.
Pubblicazione: (2025)

Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning
di: Zhao, Shiwan, et al.
Pubblicazione: (2025)

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning
di: Yano, Kazuki, et al.
Pubblicazione: (2026)

From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning
di: Wu, Haodong, et al.
Pubblicazione: (2026)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
di: Sun, Chengwei, et al.
Pubblicazione: (2024)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
di: Lee, Changhun, et al.
Pubblicazione: (2024)

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
di: Feng, Weitao, et al.
Pubblicazione: (2025)

Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
di: Wang, Fangxin, et al.
Pubblicazione: (2026)

SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning
di: Fu, Yuqian, et al.
Pubblicazione: (2025)

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority
di: Shen, Zhanming, et al.
Pubblicazione: (2026)

Effect of Document Packing on the Latent Multi-Hop Reasoning Capabilities of Large Language Models
di: Prato, Gabriele, et al.
Pubblicazione: (2025)

FisherSFT: Data-Efficient Supervised Fine-Tuning of Language Models Using Information Gain
di: Deb, Rohan, et al.
Pubblicazione: (2025)

GIFT: Group-Relative Implicit Fine-Tuning Integrates GRPO with DPO and UNA
di: Wang, Zhichao
Pubblicazione: (2025)

Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training
di: Lai, Song, et al.
Pubblicazione: (2025)

Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns
di: Zhao, Yang, et al.
Pubblicazione: (2024)

Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
di: Rallapalli, Swati, et al.
Pubblicazione: (2025)

Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
di: Wang, Xinyu, et al.
Pubblicazione: (2026)

IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning
di: Mishra, Aayush, et al.
Pubblicazione: (2025)

Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models
di: Doering, Nigel, et al.
Pubblicazione: (2024)

FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA
di: Bian, Jieming, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning via Circular Convolution
di: Chen, Aochuan, et al.
Pubblicazione: (2024)

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
di: Jiang, Ting, et al.
Pubblicazione: (2024)

Filtering Beats Fine Tuning: A Bayesian Kalman View of In Context Learning in LLMs
di: Kiruluta, Andrew
Pubblicazione: (2026)

Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning
di: Hong, Joey, et al.
Pubblicazione: (2024)

JORA: JAX Tensor-Parallel LoRA Library for Retrieval Augmented Fine-Tuning
di: Tahir, Anique, et al.
Pubblicazione: (2024)

TRA: Better Length Generalisation with Threshold Relative Attention
di: Opper, Mattia, et al.
Pubblicazione: (2025)

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
di: Liu, Zihang, et al.
Pubblicazione: (2025)

Relational Knowledge Distillation Using Fine-tuned Function Vectors
di: Kang, Andrea, et al.
Pubblicazione: (2026)