Buchumschlag

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pang, Jinlong, Di, Na, Zhu, Zhaowei, Wei, Jiaheng, Cheng, Hao, Qian, Chen, Liu, Yang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Improving Data Efficiency via Curating LLM-Driven Rating Systems
von: Pang, Jinlong, et al.
Veröffentlicht: (2024)

Rethinking Supervised Fine-Tuning: Emphasizing Key Answer Tokens for Improved LLM Accuracy
von: Shi, Xiaofeng, et al.
Veröffentlicht: (2025)

Proximal Supervised Fine-Tuning
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority
von: Shen, Zhanming, et al.
Veröffentlicht: (2026)

Token-level Data Selection for Safe LLM Fine-tuning
von: Li, Yanping, et al.
Veröffentlicht: (2026)

Parameter-Efficient Fine-Tuning With Adapters
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

TACOS: Open Tagging and Comparative Scoring for Instruction Fine-Tuning Data Selection
von: He, Xixiang, et al.
Veröffentlicht: (2025)

Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels
von: Ye, Junjie, et al.
Veröffentlicht: (2025)

Supervised Fine-Tuning as Inverse Reinforcement Learning
von: Sun, Hao
Veröffentlicht: (2024)

Selection of LLM Fine-Tuning Data based on Orthogonal Rules
von: Li, Xiaomin, et al.
Veröffentlicht: (2024)

From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of Large Language Models
von: Liu, Na, et al.
Veröffentlicht: (2024)

Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
von: Wang, Fangxin, et al.
Veröffentlicht: (2026)

TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
von: Zeng, Runjia, et al.
Veröffentlicht: (2026)

LLM Unlearning via Loss Adjustment with Only Forget Data
von: Wang, Yaxuan, et al.
Veröffentlicht: (2024)

Natural Language Fine-Tuning
von: Liu, Jia, et al.
Veröffentlicht: (2024)

Phased Instruction Fine-Tuning for Large Language Models
von: Pang, Wei, et al.
Veröffentlicht: (2024)

Rethinking Data Selection for Supervised Fine-Tuning
von: Shen, Ming
Veröffentlicht: (2024)

NeuronTune: Fine-Grained Neuron Modulation for Balanced Safety-Utility Alignment in LLMs
von: Pan, Birong, et al.
Veröffentlicht: (2025)

Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
von: Wang, Xinyu, et al.
Veröffentlicht: (2026)

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
von: Huang, Zeyu, et al.
Veröffentlicht: (2025)

Is Fine-Tuning an Effective Solution? Reassessing Knowledge Editing for Unstructured Data
von: Xiong, Hao, et al.
Veröffentlicht: (2025)

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
von: Liu, Zihang, et al.
Veröffentlicht: (2025)

Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth
von: Zhang, Yichi, et al.
Veröffentlicht: (2025)

Understanding the Performance and Estimating the Cost of LLM Fine-Tuning
von: Xia, Yuchen, et al.
Veröffentlicht: (2024)

ClusterUCB: Efficient Gradient-Based Data Selection for Targeted Fine-Tuning of LLMs
von: Wang, Zige, et al.
Veröffentlicht: (2025)

A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
von: Lagasse, Ryan, et al.
Veröffentlicht: (2025)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

ENTP: Enhancing Low-Quality SFT Data via Neural-Symbolic Text Purge-Mix
von: Yang, Zile, et al.
Veröffentlicht: (2025)

SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning
von: Fu, Yuqian, et al.
Veröffentlicht: (2025)

Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
von: Rallapalli, Swati, et al.
Veröffentlicht: (2025)

GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic Data Generation
von: Chen, Zihong, et al.
Veröffentlicht: (2025)

DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning
von: Zhang, Junbo, et al.
Veröffentlicht: (2026)

From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning
von: Li, Yafu, et al.
Veröffentlicht: (2025)

TS-PEFT: Unveiling Token-Level Redundancy in Parameter-Efficient Fine-Tuning
von: Ma, Dabiao, et al.
Veröffentlicht: (2025)

AgentBank: Towards Generalized LLM Agents via Fine-Tuning on 50000+ Interaction Trajectories
von: Song, Yifan, et al.
Veröffentlicht: (2024)

Semantic Loss Guided Data Efficient Supervised Fine Tuning for Safe Responses in LLMs
von: Lu, Yuxiao, et al.
Veröffentlicht: (2024)

Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning
von: Qian, Livia, et al.
Veröffentlicht: (2026)

Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning
von: Wu, Tianyi, et al.
Veröffentlicht: (2025)

Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward
von: An, Hao, et al.
Veröffentlicht: (2025)