Buchumschlag

RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Changhai, Han, Shijie, Yang, Lining, Zhou, Yuhua, Cheng, Xu, Wang, Yibin, Li, Hongguang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models
von: Zhou, Changhai, et al.
Veröffentlicht: (2024)

AutoMixQ: Self-Adjusting Quantization for High Performance Memory-Efficient Fine-Tuning
von: Zhou, Changhai, et al.
Veröffentlicht: (2024)

High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning
von: Liu, Yongkang, et al.
Veröffentlicht: (2026)

FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution
von: Mao, Yulong, et al.
Veröffentlicht: (2024)

GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs
von: Huang, Wei, et al.
Veröffentlicht: (2026)

Large Language Model Compression with Global Rank and Sparsity Optimization
von: Zhou, Changhai, et al.
Veröffentlicht: (2025)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
von: Jiang, Ting, et al.
Veröffentlicht: (2024)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
von: Chen, Yu, et al.
Veröffentlicht: (2025)

FinSphere, a Real-Time Stock Analysis Agent Powered by Instruction-Tuned LLMs and Domain Tools
von: Han, Shijie, et al.
Veröffentlicht: (2025)

An Empirical Study on Parameter-Efficient Fine-Tuning for MultiModal Large Language Models
von: Zhou, Xiongtao, et al.
Veröffentlicht: (2024)

Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies
von: Kumar, Nitesh, et al.
Veröffentlicht: (2024)

ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models
von: Liu, Zequan, et al.
Veröffentlicht: (2024)

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
von: Cao, Yarui, et al.
Veröffentlicht: (2026)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation
von: Benedek, Nadav, et al.
Veröffentlicht: (2024)

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
von: Modoranu, Ionut-Vlad, et al.
Veröffentlicht: (2026)

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
von: Sengupta, Ayan, et al.
Veröffentlicht: (2024)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Zhang, Haojie
Veröffentlicht: (2025)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning
von: Gu, Naibin, et al.
Veröffentlicht: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
von: Wang, Yibin, et al.
Veröffentlicht: (2024)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning
von: Wei, Xinyu, et al.
Veröffentlicht: (2025)

CFSP: An Efficient Structured Pruning Framework for LLMs with Coarse-to-Fine Activation Information
von: Wang, Yuxin, et al.
Veröffentlicht: (2024)

MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
von: Ren, Pengjie, et al.
Veröffentlicht: (2024)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Chang, Huandong, et al.
Veröffentlicht: (2025)

RankMamba: Benchmarking Mamba's Document Ranking Performance in the Era of Transformers
von: Xu, Zhichao
Veröffentlicht: (2024)

Healing Powers of BERT: How Task-Specific Fine-Tuning Recovers Corrupted Language Models
von: Han, Shijie, et al.
Veröffentlicht: (2024)

RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty
von: Zhang, Ziqian, et al.
Veröffentlicht: (2026)

DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning
von: Hu, Jucheng, et al.
Veröffentlicht: (2025)

Adaptive Rank Allocation for Federated Parameter-Efficient Fine-Tuning of Language Models
von: Wu, Fei, et al.
Veröffentlicht: (2025)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
von: Singh, Raul, et al.
Veröffentlicht: (2025)

Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning
von: Liang, Yao, et al.
Veröffentlicht: (2024)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
von: Zhang, Jia-Chen, et al.
Veröffentlicht: (2024)