Buchumschlag

Understanding the Performance and Estimating the Cost of LLM Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xia, Yuchen, Kim, Jiho, Chen, Yuhan, Ye, Haojie, Kundu, Souvik, Hao, Cong, Talati, Nishil
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
von: Azizi, Seyedarmin, et al.
Veröffentlicht: (2024)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

Sphinx: Efficiently Serving Novel View Synthesis using Regression-Guided Selective Refinement
von: Xia, Yuchen, et al.
Veröffentlicht: (2025)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
von: Ban, Hao, et al.
Veröffentlicht: (2025)

EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
von: Kong, Lingxiao, et al.
Veröffentlicht: (2025)

Alignment Dynamics in LLM Fine-Tuning
von: Huang, Yuhan, et al.
Veröffentlicht: (2026)

GEAR: An Efficient KV Cache Compression Recipe for Near-Lossless Generative Inference of LLM
von: Kang, Hao, et al.
Veröffentlicht: (2024)

LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
von: Kim, Taeho, et al.
Veröffentlicht: (2024)

Supervised Fine-Tuning as Inverse Reinforcement Learning
von: Sun, Hao
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority
von: Shen, Zhanming, et al.
Veröffentlicht: (2026)

MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
von: Yuan, Yichao, et al.
Veröffentlicht: (2025)

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
von: Lu, Yiyang, et al.
Veröffentlicht: (2026)

Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning -- A Convex Optimization Perspective
von: Fernando, Heshan, et al.
Veröffentlicht: (2024)

Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows
von: Ayala, Orlando Marquez, et al.
Veröffentlicht: (2025)

Tuning LLM Judge Design Decisions for 1/1000 of the Cost
von: Salinas, David, et al.
Veröffentlicht: (2025)

Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis
von: Wang, Xu, et al.
Veröffentlicht: (2025)

Selection of LLM Fine-Tuning Data based on Orthogonal Rules
von: Li, Xiaomin, et al.
Veröffentlicht: (2024)

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
von: Potraghloo, Erfan Baghaei, et al.
Veröffentlicht: (2025)

Etalon: Holistic Performance Evaluation Framework for LLM Inference Systems
von: Agrawal, Amey, et al.
Veröffentlicht: (2024)

Fine-Tuning Language Models with Reward Learning on Policy
von: Lang, Hao, et al.
Veröffentlicht: (2024)

Bridging the Gap: Enhancing LLM Performance for Low-Resource African Languages with New Benchmarks, Fine-Tuning, and Cultural Adjustments
von: Alhanai, Tuka, et al.
Veröffentlicht: (2024)

ALKAFI-LLAMA3: Fine-Tuning LLMs for Precise Legal Understanding in Palestine
von: Qasem, Rabee, et al.
Veröffentlicht: (2024)

Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
von: Wang, Fangxin, et al.
Veröffentlicht: (2026)

Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
von: Wang, Xinyu, et al.
Veröffentlicht: (2026)

One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness
von: Potraghloo, Erfan Baghaei, et al.
Veröffentlicht: (2026)

Neural Networks for Learnable and Scalable Influence Estimation of Instruction Fine-Tuning Data
von: Agarwal, Ishika, et al.
Veröffentlicht: (2025)

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
von: Fawi, Muhammad
Veröffentlicht: (2024)

Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning
von: Qian, Livia, et al.
Veröffentlicht: (2026)

Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
von: Ju, Yiming, et al.
Veröffentlicht: (2024)

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning
von: Jin, Hongye, et al.
Veröffentlicht: (2024)

AirLLM: Diffusion Policy-based Adaptive LoRA for Remote Fine-Tuning of LLM over the Air
von: Yang, Shiyi, et al.
Veröffentlicht: (2025)

LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard
von: Rao, Varun, et al.
Veröffentlicht: (2025)

ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization
von: You, Haoran, et al.
Veröffentlicht: (2024)

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
von: Pang, Jinlong, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

MoDM: Efficient Serving for Image Generation via Mixture-of-Diffusion Models
von: Xia, Yuchen, et al.
Veröffentlicht: (2025)

Understanding the planning of LLM agents: A survey
von: Huang, Xu, et al.
Veröffentlicht: (2024)

Proximal Supervised Fine-Tuning
von: Zhu, Wenhong, et al.
Veröffentlicht: (2025)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)