Copertina

LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chen, Junyu, Li, Junzhuo, Peng, Zhen, Wang, Wenjie, Ren, Yuxiang, Shi, Long, Hu, Xuming
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

On-the-Fly Adaptation to Quantization: Configuration-Aware LoRA for Efficient Fine-Tuning of Quantized LLMs
di: Ye, Rongguang, et al.
Pubblicazione: (2025)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
di: Zhao, Jiancheng, et al.
Pubblicazione: (2025)

Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
di: Li, Junzhuo, et al.
Pubblicazione: (2025)

LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning
di: Du, Zhekai, et al.
Pubblicazione: (2025)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
di: Chen, Yu, et al.
Pubblicazione: (2025)

BiTA: Bi-Directional Tuning for Lossless Acceleration in Large Language Models
di: Lin, Feng, et al.
Pubblicazione: (2024)

Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
di: Zhao, Maosen, et al.
Pubblicazione: (2025)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
di: Hu, Jerry Yao-Chieh, et al.
Pubblicazione: (2024)

Deconstructing Pre-training: Knowledge Attribution Analysis in MoE and Dense Models
di: Wang, Bo, et al.
Pubblicazione: (2026)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
di: Tian, Chunlin, et al.
Pubblicazione: (2024)

Capturing Nuanced Preferences: Preference-Aligned Distillation for Small Language Models
di: Gu, Yanggan, et al.
Pubblicazione: (2025)

Optimal Expert-Attention Allocation in Mixture-of-Experts: A Scalable Law for Dynamic Model Design
di: Li, Junzhuo, et al.
Pubblicazione: (2026)

CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization
di: Deng, Yanxia, et al.
Pubblicazione: (2025)

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Jung, Yeonjoon, et al.
Pubblicazione: (2025)

Sherry: Hardware-Efficient 1.25-Bit Ternary Quantization via Fine-grained Sparsification
di: Huang, Hong, et al.
Pubblicazione: (2026)

NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs
di: Wang, Shuaidi, et al.
Pubblicazione: (2026)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
di: Zhang, Chengqian, et al.
Pubblicazione: (2026)

Bayesian-LoRA: LoRA based Parameter Efficient Fine-Tuning using Optimal Quantization levels and Rank Values trough Differentiable Bayesian Gates
di: Meo, Cristian, et al.
Pubblicazione: (2024)

Decoding Knowledge Attribution in Mixture-of-Experts: A Framework of Basic-Refinement Collaboration and Efficiency Analysis
di: Li, Junzhuo, et al.
Pubblicazione: (2025)

Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection
di: Peng, Yihang, et al.
Pubblicazione: (2026)

Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation
di: Zheng, Kening, et al.
Pubblicazione: (2026)

Natural Language Fine-Tuning
di: Liu, Jia, et al.
Pubblicazione: (2024)

VeriLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs
di: Liao, Guofu, et al.
Pubblicazione: (2025)

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
di: Tang, Haozhan, et al.
Pubblicazione: (2026)

Tequila: Trapping-free Ternary Quantization for Large Language Models
di: Huang, Hong, et al.
Pubblicazione: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
di: Zhou, Jiajun, et al.
Pubblicazione: (2025)

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models
di: Wei, Quan, et al.
Pubblicazione: (2025)

KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
di: Li, Xing, et al.
Pubblicazione: (2025)

Bi-LoRA: Efficient Sharpness-Aware Minimization for Fine-Tuning Large-Scale Models
di: Liu, Yuhang, et al.
Pubblicazione: (2025)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
di: Long, Jikai, et al.
Pubblicazione: (2025)

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
di: Chen, Renqi, et al.
Pubblicazione: (2025)

Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes
di: Kumar, Divyanshu, et al.
Pubblicazione: (2024)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
di: Zhao, Jiancheng, et al.
Pubblicazione: (2025)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
di: Deng, Guanzhi, et al.
Pubblicazione: (2026)

On-Policy Supervised Fine-Tuning for Efficient Reasoning
di: Zhao, Anhao, et al.
Pubblicazione: (2026)

Rethinking the Rank Threshold for LoRA Fine-Tuning
di: Park, Juneyoung
Pubblicazione: (2026)

CDM-QTA: Quantized Training Acceleration for Efficient LoRA Fine-Tuning of Diffusion Model
di: Lu, Jinming, et al.
Pubblicazione: (2025)

Fine-Tuned In-Context Learners for Efficient Adaptation
di: Bornschein, Jorg, et al.
Pubblicazione: (2025)

Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning
di: Chen, Xin, et al.
Pubblicazione: (2025)

TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Liang, Yao, et al.
Pubblicazione: (2025)