Copertina

ApiQ: Finetuning of 2-Bit Quantized Large Language Model

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Liao, Baohao, Herold, Christian, Khadivi, Shahram, Monz, Christof
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation
di: Liao, Baohao, et al.
Pubblicazione: (2024)

3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability
di: Liao, Baohao, et al.
Pubblicazione: (2024)

ClusComp: A Simple Paradigm for Model Compression and Efficient Finetuning
di: Liao, Baohao, et al.
Pubblicazione: (2025)

Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation
di: Vasilev, Stefan, et al.
Pubblicazione: (2025)

Self-Hinting Language Models Enhance Reinforcement Learning
di: Liao, Baohao, et al.
Pubblicazione: (2026)

LiLiuM: eBay's Large Language Models for e-commerce
di: Herold, Christian, et al.
Pubblicazione: (2024)

Is It a Free Lunch for Removing Outliers during Pretraining?
di: Liao, Baohao, et al.
Pubblicazione: (2024)

Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
di: Wu, Di, et al.
Pubblicazione: (2023)

Fractured Chain-of-Thought Reasoning
di: Liao, Baohao, et al.
Pubblicazione: (2025)

Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
di: Rajaee, Sara, et al.
Pubblicazione: (2024)

QuIP: 2-Bit Quantization of Large Language Models With Guarantees
di: Chee, Jerry, et al.
Pubblicazione: (2023)

BAQ: Efficient Bit Allocation Quantization for Large Language Models
di: Zhang, Chao, et al.
Pubblicazione: (2025)

Reinforce-Ada: An Adaptive Sampling Framework under Non-linear RL Objectives
di: Xiong, Wei, et al.
Pubblicazione: (2025)

Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation
di: Meng, Yan, et al.
Pubblicazione: (2024)

CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models
di: Gong, Zi, et al.
Pubblicazione: (2024)

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
di: Chen, Xinyi, et al.
Pubblicazione: (2024)

Active Continual Learning: On Balancing Knowledge Retention and Learnability
di: Vu, Thuy-Trang, et al.
Pubblicazione: (2023)

Transfer Learning for Finetuning Large Language Models
di: Strangmann, Tobias, et al.
Pubblicazione: (2024)

Outlier-Safe Pre-Training for Robust 4-Bit Quantization of Large Language Models
di: Park, Jungwoo, et al.
Pubblicazione: (2025)

Lost at the Beginning of Reasoning
di: Liao, Baohao, et al.
Pubblicazione: (2025)

ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

ITEm: Unsupervised Image-Text Embedding Learning for eCommerce
di: Liao, Baohao, et al.
Pubblicazione: (2023)

Large Language Models to Diffusion Finetuning
di: Cetin, Edoardo, et al.
Pubblicazione: (2025)

The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
di: Stap, David, et al.
Pubblicazione: (2025)

L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
di: Jeon, Hyesung, et al.
Pubblicazione: (2024)

InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models
di: Hosseini, Sayed Mohammadreza Tayaranian, et al.
Pubblicazione: (2026)

LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
di: Guo, Han, et al.
Pubblicazione: (2023)

How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data
di: Wu, Di, et al.
Pubblicazione: (2024)

I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
di: Hu, Xing, et al.
Pubblicazione: (2024)

MuonAll: Muon Variant for Efficient Finetuning of Large Language Models
di: Page, Saurabh, et al.
Pubblicazione: (2025)

Multi-Bit Distortion-Free Watermarking for Large Language Models
di: Boroujeny, Massieh Kordi, et al.
Pubblicazione: (2024)

Vocabulary Customization for Efficient Domain-Specific LLM Deployment
di: Herold, Christian, et al.
Pubblicazione: (2025)

BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models
di: He, Liulu, et al.
Pubblicazione: (2025)

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training
di: Zhang, Wenzheng, et al.
Pubblicazione: (2026)

FrameQuant: Flexible Low-Bit Quantization for Transformers
di: Adepu, Harshavardhan, et al.
Pubblicazione: (2024)

Ensembling Finetuned Language Models for Text Classification
di: Arango, Sebastian Pineda, et al.
Pubblicazione: (2024)

Accurate LoRA-Finetuning Quantization of LLMs via Information Retention
di: Qin, Haotong, et al.
Pubblicazione: (2024)

Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
di: Shao, Jintian
Pubblicazione: (2025)

Quantization of Large Language Models with an Overdetermined Basis
di: Merkulov, Daniil, et al.
Pubblicazione: (2024)

Transfer Learning of Tabular Data by Finetuning Large Language Models
di: Rabbani, Shourav B., et al.
Pubblicazione: (2025)