Buchumschlag

GPTQ-intrinsic LoRA: A Near-optimal Algorithm for Low-precision Quantization with Low-rank Adaptation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Shihao, Saab, Rayan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks
von: Zhang, Shihao, et al.
Veröffentlicht: (2025)

The Geometry of LLM Quantization: GPTQ as Babai's Nearest Plane Algorithm
von: Chen, Jiale, et al.
Veröffentlicht: (2025)

Provable Post-Training Quantization: Theoretical Analysis of OPTQ and Qronos
von: Zhang, Haoyu, et al.
Veröffentlicht: (2025)

Beacon: Post-Training Quantization with Integrated Grid Selection
von: Zhang, Shihao, et al.
Veröffentlicht: (2025)

FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning
von: Xie, Sijing, et al.
Veröffentlicht: (2025)

ST-LoRA: Low-rank Adaptation for Spatio-Temporal Forecasting
von: Ruan, Weilin, et al.
Veröffentlicht: (2024)

MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation
von: Shen, Wei, et al.
Veröffentlicht: (2025)

LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits
von: Mirzaei, Amir Reza, et al.
Veröffentlicht: (2025)

LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
von: Guo, Han, et al.
Veröffentlicht: (2023)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations
von: Gao, Yihang, et al.
Veröffentlicht: (2026)

LoRACode: LoRA Adapters for Code Embeddings
von: Chaturvedi, Saumya, et al.
Veröffentlicht: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation
von: Wu, Yize, et al.
Veröffentlicht: (2026)

Qronos: Correcting the Past by Shaping the Future... in Post-Training Quantization
von: Zhang, Shihao, et al.
Veröffentlicht: (2025)

PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA
von: Wang, Shihao, et al.
Veröffentlicht: (2026)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
von: Sokolov, Igor, et al.
Veröffentlicht: (2025)

Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape
von: Li, Tao, et al.
Veröffentlicht: (2024)

SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning
von: Wu, Yichen, et al.
Veröffentlicht: (2025)

Random Vector Functional Link Networks for Function Approximation on Manifolds
von: Needell, Deanna, et al.
Veröffentlicht: (2020)

C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models
von: Rahmati, Amir Hossein, et al.
Veröffentlicht: (2025)

Unified Stochastic Framework for Neural Network Quantization and Pruning
von: Zhang, Haoyu, et al.
Veröffentlicht: (2024)

D2-LoRA: A Synergistic Approach to Differential and Directional Low-Rank Adaptation
von: Fujisawa, Nozomu, et al.
Veröffentlicht: (2026)

How Relevance Emerges: Interpreting LoRA Fine-Tuning in Reranking LLMs
von: Nijasure, Atharva, et al.
Veröffentlicht: (2025)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
von: Bałazy, Klaudia, et al.
Veröffentlicht: (2024)

Tensor Train Low-rank Approximation (TT-LoRA): Democratizing AI with Accelerated LLMs
von: Anjum, Afia, et al.
Veröffentlicht: (2024)

AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
von: Dong, Haonan, et al.
Veröffentlicht: (2025)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
von: Chen, Lixian, et al.
Veröffentlicht: (2026)

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
von: Zhang, Qingyue, et al.
Veröffentlicht: (2025)

SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
von: Singh, Rajveer
Veröffentlicht: (2026)

On-the-Fly Adaptation to Quantization: Configuration-Aware LoRA for Efficient Fine-Tuning of Quantized LLMs
von: Ye, Rongguang, et al.
Veröffentlicht: (2025)

RAIE: Region-Aware Incremental Preference Editing with LoRA for LLM-based Recommendation
von: Zeng, Jin, et al.
Veröffentlicht: (2026)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

Hierarchical LoRA MoE for Efficient CTR Model Scaling
von: Zeng, Zhichen, et al.
Veröffentlicht: (2025)

Near-optimal Rank Adaptive Inference of High Dimensional Matrices
von: Zheng, Frédéric, et al.
Veröffentlicht: (2025)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
von: Luo, Yuetian, et al.
Veröffentlicht: (2021)