Buchumschlag

Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Doering, Nigel, Gorlla, Cyril, Tuttle, Trevor, Vijay, Adhvaith
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
von: Sun, Chengwei, et al.
Veröffentlicht: (2024)

Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting
von: Srinivasan, Krishna Prasad Varadarajan, et al.
Veröffentlicht: (2024)

Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
von: Ghiasvand, Sajjad, et al.
Veröffentlicht: (2024)

SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

Crafting Efficient Fine-Tuning Strategies for Large Language Models
von: Oliver, Michael, et al.
Veröffentlicht: (2024)

Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
von: Chen, Yuyan, et al.
Veröffentlicht: (2024)

Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection
von: Shen, Lingzhi, et al.
Veröffentlicht: (2025)

TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
von: Liu, Zefang, et al.
Veröffentlicht: (2024)

Fine-Tuning Pre-trained Language Models to Detect In-Game Trash Talks
von: Fesalbon, Daniel, et al.
Veröffentlicht: (2024)

Dissecting Fine-Tuning Unlearning in Large Language Models
von: Hong, Yihuai, et al.
Veröffentlicht: (2024)

L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
von: Jeon, Hyesung, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

Fine Tuning Methods for Low-resource Languages
von: Bakkenes, Tim, et al.
Veröffentlicht: (2025)

Personalized Collaborative Fine-Tuning for On-Device Large Language Models
von: Wagner, Nicolas, et al.
Veröffentlicht: (2024)

How Multilingual Are Large Language Models Fine-Tuned for Translation?
von: Richburg, Aquia, et al.
Veröffentlicht: (2024)

FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics
von: Du, Yupei, et al.
Veröffentlicht: (2023)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
von: Liao, Xiaoxuan, et al.
Veröffentlicht: (2025)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models
von: Stahlberg, Felix, et al.
Veröffentlicht: (2024)

Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy
von: Tjandra, Benedict Aaron, et al.
Veröffentlicht: (2024)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
von: Wu, Yichao, et al.
Veröffentlicht: (2024)

Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models
von: Weyssow, Martin, et al.
Veröffentlicht: (2023)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

Boosting Large Language Models with Mask Fine-Tuning
von: Zhang, Mingyuan, et al.
Veröffentlicht: (2025)

Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks
von: Li, Zuguang, et al.
Veröffentlicht: (2024)

LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
von: Kim, Taeho, et al.
Veröffentlicht: (2024)

Sentiment Classification of Gaza War Headlines: A Comparative Analysis of Large Language Models and Arabic Fine-Tuned BERT Models
von: Eleraqi, Amr, et al.
Veröffentlicht: (2026)

Hyperbolic Fine-Tuning for Large Language Models
von: Yang, Menglin, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning of State Space Models
von: Galim, Kevin, et al.
Veröffentlicht: (2024)

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey
von: Lee, Kunil, et al.
Veröffentlicht: (2026)

DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation
von: Woo, Sunghyeon, et al.
Veröffentlicht: (2024)

Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
von: Shaaban, Mai A., et al.
Veröffentlicht: (2024)

APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
von: Zhao, Bowen, et al.
Veröffentlicht: (2024)

Fine-Tuning Large Language Models and Evaluating Retrieval Methods for Improved Question Answering on Building Codes
von: Aqib, Mohammad, et al.
Veröffentlicht: (2025)

Improving Large Language Models with Concept-Aware Fine-Tuning
von: Chen, Michael K., et al.
Veröffentlicht: (2025)

AlignTune: Modular Toolkit for Post-Training Alignment of Large Language Models
von: Lyngkhoi, R E Zera Marveen, et al.
Veröffentlicht: (2026)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
von: Lingam, Vijay, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
von: Wang, Luping, et al.
Veröffentlicht: (2024)

A Semantic-Aware Layer-Freezing Approach to Computation-Efficient Fine-Tuning of Language Models
von: Gu, Jian, et al.
Veröffentlicht: (2024)

FisherSFT: Data-Efficient Supervised Fine-Tuning of Language Models Using Information Gain
von: Deb, Rohan, et al.
Veröffentlicht: (2025)