Buchumschlag

Task-Specific Data Selection for Instruction Tuning via Monosemantic Neuronal Activations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Da, Shang, Gonghu, Chen, Zhi, Qin, Libo, Luo, Yijie, Pan, Lei, Fan, Shuai, Chen, Lu, Yu, Kai
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning from Emergence: A Study on Proactively Inhibiting the Monosemantic Neurons of Artificial Neural Networks
von: Wang, Jiachuan, et al.
Veröffentlicht: (2023)

TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data
von: Zhang, Jipeng, et al.
Veröffentlicht: (2024)

ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling
von: Teng, Dechuan, et al.
Veröffentlicht: (2026)

Neuron-Aware Data Selection In Instruction Tuning For Large Language Models
von: Chen, Xin, et al.
Veröffentlicht: (2026)

ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning
von: Wu, Yang, et al.
Veröffentlicht: (2024)

MIG: Automatic Data Selection for Instruction Tuning by Maximizing Information Gain in Semantic Space
von: Chen, Yicheng, et al.
Veröffentlicht: (2025)

Learning Towards Emergence: Paving the Way to Induce Emergence by Inhibiting Monosemantic Neurons on Pre-trained Models
von: Wang, Jiachuan, et al.
Veröffentlicht: (2025)

Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks
von: Lee, Changho, et al.
Veröffentlicht: (2024)

Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective
von: Yan, Hanqi, et al.
Veröffentlicht: (2024)

Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning
von: Li, Ming, et al.
Veröffentlicht: (2024)

AHAMask: Reliable Task Specification for Large Audio Language Models without Instructions
von: Guo, Yiwei, et al.
Veröffentlicht: (2025)

ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning
von: Wu, Changti, et al.
Veröffentlicht: (2026)

LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning
von: Ye, Yangfan, et al.
Veröffentlicht: (2025)

Measuring and Guiding Monosemanticity
von: Härle, Ruben, et al.
Veröffentlicht: (2025)

LESS: Selecting Influential Data for Targeted Instruction Tuning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2024)

SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning
von: Chen, Yijie, et al.
Veröffentlicht: (2026)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
von: Zhang, Zhi, et al.
Veröffentlicht: (2025)

GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry
von: Min, Guanghui, et al.
Veröffentlicht: (2026)

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
von: Ma, Da, et al.
Veröffentlicht: (2024)

Hint Tuning: Less Data Makes Better Reasoners
von: Fan, Siqi, et al.
Veröffentlicht: (2026)

No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks
von: Fan, Feng-Lei, et al.
Veröffentlicht: (2024)

LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning
von: Lin, Xiaotian, et al.
Veröffentlicht: (2025)

CoTasks: Chain-of-Thought based Video Instruction Tuning Tasks
von: Wang, Yanan, et al.
Veröffentlicht: (2025)

Monet: Mixture of Monosemantic Experts for Transformers
von: Park, Jungwoo, et al.
Veröffentlicht: (2024)

Evaluating Sparse Autoencoders for Monosemantic Representation
von: Fereidouni, Moghis, et al.
Veröffentlicht: (2025)

Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
von: Yuan, Zhihang, et al.
Veröffentlicht: (2026)

ProDS: Preference-oriented Data Selection for Instruction Tuning
von: Guo, Wenya, et al.
Veröffentlicht: (2025)

X2Edit: Revisiting Arbitrary-Instruction Image Editing through Self-Constructed Data and Task-Aware Representation Learning
von: Ma, Jian, et al.
Veröffentlicht: (2025)

What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices
von: Chen, Zhi, et al.
Veröffentlicht: (2024)

Large-Scale Data Selection for Instruction Tuning
von: Ivison, Hamish, et al.
Veröffentlicht: (2025)

Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection
von: Zhao, Yang, et al.
Veröffentlicht: (2025)

Visual Instruction Tuning with Chain of Region-of-Interest
von: Chen, Yixin, et al.
Veröffentlicht: (2025)

NeuronSeek: On Stability and Expressivity of Task-driven Neurons
von: Pei, Hanyu, et al.
Veröffentlicht: (2025)

T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning
von: Fu, Yanjun, et al.
Veröffentlicht: (2025)

Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
von: Wang, Zijun, et al.
Veröffentlicht: (2026)

Instruction Mining: Instruction Data Selection for Tuning Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2023)

IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection
von: Song, Jielin, et al.
Veröffentlicht: (2024)

ReqBrain: Task-Specific Instruction Tuning of LLMs for AI-Assisted Requirements Generation
von: Habib, Mohammad Kasra, et al.
Veröffentlicht: (2025)

Parrot: Multilingual Visual Instruction Tuning
von: Sun, Hai-Long, et al.
Veröffentlicht: (2024)