Copertina

L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Jeon, Hyesung, Kim, Yulhwa, Kim, Jae-joon
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models
di: Jeon, Hyesung, et al.
Pubblicazione: (2025)

FastKV: Decoupling of Context Reduction and KV Cache Compression for Prefill-Decoding Acceleration
di: Jo, Dongwon, et al.
Pubblicazione: (2025)

Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models
di: Weyssow, Martin, et al.
Pubblicazione: (2023)

InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models
di: Hosseini, Sayed Mohammadreza Tayaranian, et al.
Pubblicazione: (2026)

SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models
di: Lu, Xudong, et al.
Pubblicazione: (2024)

SLEB: Streamlining LLMs through Redundancy Verification and Elimination of Transformer Blocks
di: Song, Jiwon, et al.
Pubblicazione: (2024)

DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation
di: Woo, Sunghyeon, et al.
Pubblicazione: (2024)

Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection
di: Shen, Lingzhi, et al.
Pubblicazione: (2025)

Mixture of Scales: Memory-Efficient Token-Adaptive Binarization for Large Language Models
di: Jo, Dongwon, et al.
Pubblicazione: (2024)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
di: Lee, Changhun, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of State Space Models
di: Galim, Kevin, et al.
Pubblicazione: (2024)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
di: Wu, Yichao, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
di: Kwak, Namju, et al.
Pubblicazione: (2024)

Parameter-Efficient Tuning Large Language Models for Graph Representation Learning
di: Zhu, Qi, et al.
Pubblicazione: (2024)

Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models
di: Ghiasvand, Sajjad, et al.
Pubblicazione: (2024)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
di: Sun, Chengwei, et al.
Pubblicazione: (2024)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
di: Son, Hyegang, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Foundation Models
di: Zhang, Dan, et al.
Pubblicazione: (2025)

Improving Large Language Models with Concept-Aware Fine-Tuning
di: Chen, Michael K., et al.
Pubblicazione: (2025)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
di: Chang, Aofei, et al.
Pubblicazione: (2024)

OWQ: Outlier-Aware Weight Quantization for Efficient Fine-Tuning and Inference of Large Language Models
di: Lee, Changhun, et al.
Pubblicazione: (2023)

Parameter-Efficient Fine-Tuning via Circular Convolution
di: Chen, Aochuan, et al.
Pubblicazione: (2024)

EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
di: Chen, Mengzhao, et al.
Pubblicazione: (2024)

DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
di: Gao, Chao, et al.
Pubblicazione: (2024)

SplitLoRA: A Split Parameter-Efficient Fine-Tuning Framework for Large Language Models
di: Lin, Zheng, et al.
Pubblicazione: (2024)

ApiQ: Finetuning of 2-Bit Quantized Large Language Model
di: Liao, Baohao, et al.
Pubblicazione: (2024)

A Semantic-Aware Layer-Freezing Approach to Computation-Efficient Fine-Tuning of Language Models
di: Gu, Jian, et al.
Pubblicazione: (2024)

Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning
di: Hong, Joey, et al.
Pubblicazione: (2024)

Crafting Efficient Fine-Tuning Strategies for Large Language Models
di: Oliver, Michael, et al.
Pubblicazione: (2024)

Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models
di: Doering, Nigel, et al.
Pubblicazione: (2024)

Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data
di: Choi, Youngwon, et al.
Pubblicazione: (2025)

TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
di: Liu, Zefang, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain
di: Gema, Aryo Pradipta, et al.
Pubblicazione: (2023)

QLESS: A Quantized Approach for Data Valuation and Selection in Large Language Model Fine-Tuning
di: Ananta, Moses, et al.
Pubblicazione: (2025)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
di: Rajabzadeh, Hossein, et al.
Pubblicazione: (2024)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)

Dissecting Fine-Tuning Unlearning in Large Language Models
di: Hong, Yihuai, et al.
Pubblicazione: (2024)

Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models
di: Peng, Zhiyuan, et al.
Pubblicazione: (2024)

Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning
di: Zhang, Hanlu, et al.
Pubblicazione: (2025)