Buchumschlag

Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Schaffelder, Max, Gatt, Albert
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
von: Du, Yupei, et al.
Veröffentlicht: (2023)

Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
von: Song, Yingjin, et al.
Veröffentlicht: (2024)

On the Diversity of Synthetic Data and its Impact on Training Large Language Models
von: Chen, Hao, et al.
Veröffentlicht: (2024)

Diverse and Fine-Grained Instruction-Following Ability Exploration with Synthetic Data
von: Gu, Zihui, et al.
Veröffentlicht: (2024)

Measuring Lexical Diversity of Synthetic Data Generated through Fine-Grained Persona Prompting
von: Kambhatla, Gauri, et al.
Veröffentlicht: (2025)

LLM for Barcodes: Generating Diverse Synthetic Data for Identity Documents
von: Patel, Hitesh Laxmichand, et al.
Veröffentlicht: (2024)

Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
von: Lu, Dongxu, et al.
Veröffentlicht: (2025)

VAQUUM: Are Vague Quantifiers Grounded in Visual Data?
von: Wong, Hugh Mee, et al.
Veröffentlicht: (2025)

Synthetic Dataset Creation and Fine-Tuning of Transformer Models for Question Answering in Serbian
von: Cvetanović, Aleksa, et al.
Veröffentlicht: (2024)

GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic Data Generation
von: Chen, Zihong, et al.
Veröffentlicht: (2025)

Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law
von: Bashir, Ali Hamza, et al.
Veröffentlicht: (2026)

Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models
von: Kaddour, Jean, et al.
Veröffentlicht: (2023)

Morphological Analysis for the Maltese Language: The Challenges of a Hybrid System
von: Borg, Claudia, et al.
Veröffentlicht: (2017)

Configurable Preference Tuning with Rubric-Guided Synthetic Data
von: Gallego, Víctor
Veröffentlicht: (2025)

DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning
von: Xu, Fangyuan, et al.
Veröffentlicht: (2026)

A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences
von: Bertolazzi, Leonardo, et al.
Veröffentlicht: (2024)

CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
von: Beňová, Ivana, et al.
Veröffentlicht: (2024)

Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
von: Faille, Juliette, et al.
Veröffentlicht: (2024)

Measuring Diversity in Synthetic Datasets
von: Zhu, Yuchang, et al.
Veröffentlicht: (2025)

CantonMT: Cantonese to English NMT Platform with Fine-Tuned Models Using Synthetic Back-Translation Data
von: Hong, Kung Yin, et al.
Veröffentlicht: (2024)

LLaVA-Video: Video Instruction Tuning With Synthetic Data
von: Zhang, Yuanhan, et al.
Veröffentlicht: (2024)

What Matters in LLM-generated Data: Diversity and Its Effect on Model Fine-Tuning
von: Zhu, Yuchang, et al.
Veröffentlicht: (2025)

Configurable Safety Tuning of Language Models with Synthetic Preference Data
von: Gallego, Victor
Veröffentlicht: (2024)

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents
von: Greenstein, Dan, et al.
Veröffentlicht: (2026)

Repurposing Synthetic Data for Fine-grained Search Agent Supervision
von: Zhao, Yida, et al.
Veröffentlicht: (2025)

LatteCLIP: Unsupervised CLIP Fine-Tuning via LMM-Synthetic Texts
von: Cao, Anh-Quan, et al.
Veröffentlicht: (2024)

Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models
von: Li, Haoran, et al.
Veröffentlicht: (2024)

Embedding-Driven Diversity Sampling to Improve Few-Shot Synthetic Data Generation
von: Lopez, Ivan, et al.
Veröffentlicht: (2025)

SyntheT2C: Generating Synthetic Data for Fine-Tuning Large Language Models on the Text2Cypher Task
von: Zhong, Ziije, et al.
Veröffentlicht: (2024)

Few-shot LLM Synthetic Data with Distribution Matching
von: Ren, Jiyuan, et al.
Veröffentlicht: (2025)

CHIMERA: Compact Synthetic Data for Generalizable LLM Reasoning
von: Zhu, Xinyu, et al.
Veröffentlicht: (2026)

When Models Decide and When They Bind: A Two-Stage Computation for Multiple-Choice Question-Answering
von: Wong, Hugh Mee, et al.
Veröffentlicht: (2026)

From Image Captioning to Visual Storytelling
von: Passadakis, Admitos, et al.
Veröffentlicht: (2025)

Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask
von: Li, Nan, et al.
Veröffentlicht: (2025)

Contrast Is All You Need
von: Kilic, Burak, et al.
Veröffentlicht: (2023)

How and where does CLIP process negation?
von: Quantmeyer, Vincent, et al.
Veröffentlicht: (2024)

Diverse and Effective Synthetic Data Generation for Adaptable Zero-Shot Dialogue State Tracking
von: Finch, James D., et al.
Veröffentlicht: (2024)

Advancing Speech Language Models by Scaling Supervised Fine-Tuning with Over 60,000 Hours of Synthetic Speech Dialogue Data
von: Zhao, Shuaijiang, et al.
Veröffentlicht: (2024)

LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens
von: Zebaze, Armel, et al.
Veröffentlicht: (2025)

Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations
von: Huang, Yiming, et al.
Veröffentlicht: (2025)