Buchumschlag

Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kang, Feiyang, Just, Hoang Anh, Sun, Yifan, Jahagirdar, Himanshu, Zhang, Yuanzhi, Du, Rongxing, Sahu, Anit Kumar, Jia, Ruoxi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Data-Centric Human Preference with Rationales for Direct Preference Alignment
von: Just, Hoang Anh, et al.
Veröffentlicht: (2024)

The Signal is in the Steps: Local Scoring for Reasoning Data Selection
von: Just, Hoang Anh, et al.
Veröffentlicht: (2025)

Probing Knowledge Holes in Unlearned LLMs
von: Ko, Myeongseob, et al.
Veröffentlicht: (2025)

FASTTRACK: Fast and Accurate Fact Tracing for LLMs
von: Chen, Si, et al.
Veröffentlicht: (2024)

DiPT: Enhancing LLM reasoning through diversified perspective-taking
von: Just, Hoang Anh, et al.
Veröffentlicht: (2024)

AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs
von: Kang, Feiyang, et al.
Veröffentlicht: (2024)

Characterizing Model-Native Skills
von: Kang, Feiyang, et al.
Veröffentlicht: (2026)

Understanding and Preserving Safety in Fine-Tuned LLMs
von: Zhang, Jiawen, et al.
Veröffentlicht: (2026)

Safety at One Shot: Patching Fine-Tuned LLMs with A Single Instance
von: Zhang, Jiawen, et al.
Veröffentlicht: (2026)

Applications of Knot Theory for the Improvement of the AlphaFold Protein Database
von: Jahagirdar, Pranshu
Veröffentlicht: (2024)

BatchPrompt: Accomplish more with less
von: Lin, Jianzhe, et al.
Veröffentlicht: (2023)

Retracing the Past: LLMs Emit Training Data When They Get Lost
von: Ko, Myeongseob, et al.
Veröffentlicht: (2025)

Do Fine-Tuned LLMs Understand Vulnerabilities? An Investigation into the Semantic Trap
von: Huang, Feiyang, et al.
Veröffentlicht: (2026)

Information scrambling in quantum walks: Discrete-time formulation of Krylov complexity
von: Sahu, Himanshu
Veröffentlicht: (2024)

"Religion and Rationality in Arun Kolatkar's Poem 'Jejuri"
von: Salunkhe, Jahagirdar Zinga
Veröffentlicht: (2026)

More Than the Final Answer: Improving Visual Extraction and Logical Consistency in Vision-Language Models
von: Just, Hoang Anh, et al.
Veröffentlicht: (2025)

The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes
von: Ko, Myeongseob, et al.
Veröffentlicht: (2024)

Dominica: more green for less

Just Enough Shifts: Mitigating Over-Refusal in Aligned Language Models with Targeted Representation Fine-Tuning
von: Dabas, Mahavir, et al.
Veröffentlicht: (2025)

Decentralized Learning with Dynamically Refined Edge Weights: A Data-Dependent Framework
von: Du, Rongxing, et al.
Veröffentlicht: (2026)

Assessment of Using Synthetic Data in Brain Tumor Segmentation
von: Jahagirdar, Aditi, et al.
Veröffentlicht: (2025)

Warm Up to the Gatekeepers
von: Daniel Lindley
Veröffentlicht: (2025)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models
von: Jelassi, Samy, et al.
Veröffentlicht: (2026)

Learning When to Trust Which Teacher for Weakly Supervised ASR
von: Agrawal, Aakriti, et al.
Veröffentlicht: (2023)

Cracking of submerged beds
von: Bhadra, Satyanu, et al.
Veröffentlicht: (2024)

A Sustainable AI Economy Needs Data Deals That Work for Generators
von: Jia, Ruoxi, et al.
Veröffentlicht: (2026)

Quantum-walk search in motion
von: Sahu, Himanshu, et al.
Veröffentlicht: (2023)

Information scrambling and entanglement dynamics in Floquet Time Crystals
von: Sahu, Himanshu, et al.
Veröffentlicht: (2024)

LLMs Can Plan Only If We Tell Them
von: Sel, Bilgehan, et al.
Veröffentlicht: (2025)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

Ep. 15: AI Gets Personal: The Power of Voice Fine-Tuning
von: Rosehill, Daniel, et al.
Veröffentlicht: (2025)

Revealing economic facts: LLMs know more than they say
von: Buckmann, Marcus, et al.
Veröffentlicht: (2025)

Strong nonlocality with more imaginarity and less entanglement
von: Bera, Subrata, et al.
Veröffentlicht: (2026)

Are sustainable companies less risky and more profitable?
von: Tânia Cristina Silva Nunes
Veröffentlicht: (2012)

Evaluating The Embedding Space of Foundation Models for Dermatological Images to Guide Backbone Selection for A Fine-Tuning Pipeline
von: Thi Anh Thu Pham, et al.
Veröffentlicht: (2026)

Confounder-Aware Medical Data Selection for Fine-Tuning Pretrained Vision Models
von: Ji, Anyang, et al.
Veröffentlicht: (2025)

AdaDeDup: Adaptive Hybrid Data Pruning for Efficient Large-Scale Object Detection Training
von: Kang, Feiyang, et al.
Veröffentlicht: (2025)

Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead
von: Kang, Feiyang, et al.
Veröffentlicht: (2025)

Towards Realistic Mechanisms That Incentivize Federated Participation and Contribution
von: Bornstein, Marco, et al.
Veröffentlicht: (2023)