Copertina

AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhou, Changhai, Zhang, Shiyang, Zhou, Yuhua, Qiao, Qian, Gao, Jun, Jin, Cheng, Qin, Kaizhou, Zhang, Weizhong
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Balancing Fidelity and Plasticity: Aligning Mixed-Precision Fine-Tuning with Linguistic Hierarchies
di: Zhou, Changhai, et al.
Pubblicazione: (2025)

AutoMixQ: Self-Adjusting Quantization for High Performance Memory-Efficient Fine-Tuning
di: Zhou, Changhai, et al.
Pubblicazione: (2024)

Large Language Model Compression with Global Rank and Sparsity Optimization
di: Zhou, Changhai, et al.
Pubblicazione: (2025)

QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
di: Zhou, Changhai, et al.
Pubblicazione: (2024)

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction
di: Gao, Jun, et al.
Pubblicazione: (2026)

RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model
di: Zhou, Changhai, et al.
Pubblicazione: (2024)

Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning
di: Chen, Jun, et al.
Pubblicazione: (2023)

Exploring Training on Heterogeneous Data with Mixture of Low-rank Adapters
di: Zhou, Yuhang, et al.
Pubblicazione: (2024)

Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
di: Xiang, Haotian, et al.
Pubblicazione: (2026)

Spectral Adapter: Fine-Tuning in Spectral Space
di: Zhang, Fangzhao, et al.
Pubblicazione: (2024)

Pear: Pruning and Sharing Adapters in Visual Parameter-Efficient Fine-Tuning
di: Zhong, Yibo, et al.
Pubblicazione: (2024)

ExpertWeave: Efficiently Serving Expert-Specialized Fine-Tuned Adapters at Scale
di: Shi, Ge, et al.
Pubblicazione: (2025)

FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs
di: Xie, Xilong, et al.
Pubblicazione: (2025)

FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
di: Hooper, Coleman, et al.
Pubblicazione: (2025)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
di: Huang, Wei, et al.
Pubblicazione: (2024)

MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
di: Ren, Pengjie, et al.
Pubblicazione: (2024)

Safeti QRA- more than just compliance
di: Cavanagh, Nic
Pubblicazione: (2007)

EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models
di: He, Yefei, et al.
Pubblicazione: (2023)

SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning
di: Liu, Yongkang, et al.
Pubblicazione: (2026)

Parameter-Efficient Fine-Tuning With Adapters
di: Chen, Keyu, et al.
Pubblicazione: (2024)

On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks
di: Huang, Wei, et al.
Pubblicazione: (2023)

MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models
di: Feng, Weilun, et al.
Pubblicazione: (2024)

Cocktail: Chunk-Adaptive Mixed-Precision Quantization for Long-Context LLM Inference
di: Tao, Wei, et al.
Pubblicazione: (2025)

Low-rank Attention Side-Tuning for Parameter-Efficient Fine-Tuning
di: Tang, Ningyuan, et al.
Pubblicazione: (2024)

Mixed-Precision Graph Neural Quantization for Low Bit Large Language Models
di: Liu, Wanlong, et al.
Pubblicazione: (2025)

Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning
di: Wang, Zhaozhi, et al.
Pubblicazione: (2024)

SONIQ: System-Optimized Noise-Injected Ultra-Low-Precision Quantization with Full-Precision Parity
di: Zhou, Cyrus, et al.
Pubblicazione: (2023)

Iterative Low-rank Network for Hyperspectral Image Denoising
di: Ye, Jin, et al.
Pubblicazione: (2025)

STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization
di: Federici, Marco, et al.
Pubblicazione: (2025)

ProjQ: Project-and-Quantize for Adapter-Aware LLM Compression
di: Yu, Wneya, et al.
Pubblicazione: (2026)

AutoFT: Learning an Objective for Robust Fine-Tuning
di: Choi, Caroline, et al.
Pubblicazione: (2024)

OMPQ: Orthogonal Mixed Precision Quantization
di: Ma, Yuexiao, et al.
Pubblicazione: (2021)

MoQAE: Mixed-Precision Quantization for Long-Context LLM Inference via Mixture of Quantization-Aware Experts
di: Tao, Wei, et al.
Pubblicazione: (2025)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
di: Chen, Zhipeng, et al.
Pubblicazione: (2026)

Symbiosis: Multi-Adapter Inference and Fine-Tuning
di: Gupta, Saransh, et al.
Pubblicazione: (2025)

QEFT: Quantization for Efficient Fine-Tuning of LLMs
di: Lee, Changhun, et al.
Pubblicazione: (2024)

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering
di: Ping, Siqi, et al.
Pubblicazione: (2024)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
di: Zhou, Han, et al.
Pubblicazione: (2023)

SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models
di: Nie, Xin, et al.
Pubblicazione: (2026)

A Coarse-to-Fine Human Pose Estimation Method based on Two-stage Distillation and Progressive Graph Neural Network
di: Ji, Zhangjian, et al.
Pubblicazione: (2025)