Buchumschlag

SMART: Submodular Data Mixture Strategy for Instruction Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Renduchintala, H S V N S Kowndinya, Bhatia, Sumit, Ramakrishnan, Ganesh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?
von: Renduchintala, H S V N S Kowndinya, et al.
Veröffentlicht: (2026)

On the Effect of Instruction Tuning Loss on Generalization
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2025)

POSIX: A Prompt Sensitivity Index For Large Language Models
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2024)

Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts
von: Gupta, Raavi, et al.
Veröffentlicht: (2025)

DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

Tied-Lora: Enhancing parameter efficiency of LoRA with weight tying
von: Renduchintala, Adithya, et al.
Veröffentlicht: (2023)

Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
von: Hui, Tingfeng, et al.
Veröffentlicht: (2024)

Instruction Mining: Instruction Data Selection for Tuning Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2023)

The Best Instruction-Tuning Data are Those That Fit
von: Zhang, Dylan, et al.
Veröffentlicht: (2025)

Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning
von: Li, Ming, et al.
Veröffentlicht: (2024)

LESS: Selecting Influential Data for Targeted Instruction Tuning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2024)

Inducing Robustness in a 2 Dimensional Direct Preference Optimization Paradigm
von: Shashidhar, Sarvesh, et al.
Veröffentlicht: (2025)

Federated Data-Efficient Instruction Tuning for Large Language Models
von: Qin, Zhen, et al.
Veröffentlicht: (2024)

Contrastive Instruction Tuning
von: Yan, Tianyi Lorena, et al.
Veröffentlicht: (2024)

Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
von: Yuan, Zhihang, et al.
Veröffentlicht: (2026)

LongForm: Effective Instruction Tuning with Reverse Instructions
von: Köksal, Abdullatif, et al.
Veröffentlicht: (2023)

Generative Representational Instruction Tuning
von: Muennighoff, Niklas, et al.
Veröffentlicht: (2024)

Instruction Tuning with Human Curriculum
von: Lee, Bruce W., et al.
Veröffentlicht: (2023)

Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data
von: Ling, Zhenqing, et al.
Veröffentlicht: (2025)

TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data
von: Zhang, Jipeng, et al.
Veröffentlicht: (2024)

Neural Networks for Learnable and Scalable Influence Estimation of Instruction Fine-Tuning Data
von: Agarwal, Ishika, et al.
Veröffentlicht: (2025)

XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts
von: Ding, Yifeng, et al.
Veröffentlicht: (2024)

What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning
von: Liu, Wei, et al.
Veröffentlicht: (2023)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning
von: He, Bingxiang, et al.
Veröffentlicht: (2024)

Parameter Efficient Instruction Tuning: An Empirical Study
von: He, Pengfei
Veröffentlicht: (2024)

ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning
von: Wu, Yang, et al.
Veröffentlicht: (2024)

TableDreamer: Progressive and Weakness-guided Data Synthesis from Scratch for Table Instruction Tuning
von: Zheng, Mingyu, et al.
Veröffentlicht: (2025)

SMART: Self-Aware Agent for Tool Overuse Mitigation
von: Qian, Cheng, et al.
Veröffentlicht: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper
von: Zeng, Runjia, et al.
Veröffentlicht: (2025)

Multilingual Instruction Tuning With Just a Pinch of Multilinguality
von: Shaham, Uri, et al.
Veröffentlicht: (2024)

MathScale: Scaling Instruction Tuning for Mathematical Reasoning
von: Tang, Zhengyang, et al.
Veröffentlicht: (2024)

Instruction Fine-Tuning: Does Prompt Loss Matter?
von: Huerta-Enochian, Mathew, et al.
Veröffentlicht: (2024)

Instruction Tuning for Large Language Models: A Survey
von: Zhang, Shengyu, et al.
Veröffentlicht: (2023)

MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions
von: Köksal, Abdullatif, et al.
Veröffentlicht: (2024)

From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
von: Wu, Xuansheng, et al.
Veröffentlicht: (2023)

Improving Model Evaluation using SMART Filtering of Benchmark Datasets
von: Gupta, Vipul, et al.
Veröffentlicht: (2024)

Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters
von: Zou, Junyi
Veröffentlicht: (2026)

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe
von: Xiao, Yuxin, et al.
Veröffentlicht: (2024)