PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Benedek, Nadav, Wolf, Lior |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition
par: Lin, Tianwei, et autres
Publié: (2024)
par: Lin, Tianwei, et autres
Publié: (2024)
DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
par: Mu, Lin, et autres
Publié: (2025)
par: Mu, Lin, et autres
Publié: (2025)
TLoRA: Task-aware Low Rank Adaptation of Large Language Models
par: Lin, Weicheng, et autres
Publié: (2026)
par: Lin, Weicheng, et autres
Publié: (2026)
SBoRA: Low-Rank Adaptation with Regional Weight Updates
par: Po, Lai-Man, et autres
Publié: (2024)
par: Po, Lai-Man, et autres
Publié: (2024)
LoRA+: Efficient Low Rank Adaptation of Large Models
par: Hayou, Soufiane, et autres
Publié: (2024)
par: Hayou, Soufiane, et autres
Publié: (2024)
GoRA: Gradient-driven Adaptive Low Rank Adaptation
par: He, Haonan, et autres
Publié: (2025)
par: He, Haonan, et autres
Publié: (2025)
SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
par: Zhou, Kaiye, et autres
Publié: (2024)
par: Zhou, Kaiye, et autres
Publié: (2024)
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
par: Zhang, Ruiyi, et autres
Publié: (2024)
par: Zhang, Ruiyi, et autres
Publié: (2024)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
par: Yang, Yaming, et autres
Publié: (2024)
par: Yang, Yaming, et autres
Publié: (2024)
AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
par: Liu, Ziyun, et autres
Publié: (2026)
par: Liu, Ziyun, et autres
Publié: (2026)
TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
par: Chen, Yu, et autres
Publié: (2025)
par: Chen, Yu, et autres
Publié: (2025)
LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
par: Bałazy, Klaudia, et autres
Publié: (2024)
par: Bałazy, Klaudia, et autres
Publié: (2024)
MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
par: Zhao, Jiancheng, et autres
Publié: (2025)
par: Zhao, Jiancheng, et autres
Publié: (2025)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
par: Xiao, Xiaojun, et autres
Publié: (2024)
par: Xiao, Xiaojun, et autres
Publié: (2024)
CeRA: Overcoming the Linear Ceiling of Low-Rank Adaptation via Capacity Expansion
par: Chen, Hung-Hsuan
Publié: (2026)
par: Chen, Hung-Hsuan
Publié: (2026)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption
par: Shi, Shuhua, et autres
Publié: (2024)
par: Shi, Shuhua, et autres
Publié: (2024)
EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
par: Nasiri, Hamid, et autres
Publié: (2025)
par: Nasiri, Hamid, et autres
Publié: (2025)
MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
par: Tang, Chuanyu, et autres
Publié: (2024)
par: Tang, Chuanyu, et autres
Publié: (2024)
TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
par: Liang, Yao, et autres
Publié: (2025)
par: Liang, Yao, et autres
Publié: (2025)
Less is More: Resource-Efficient Low-Rank Adaptation
par: Tian, Chunlin, et autres
Publié: (2025)
par: Tian, Chunlin, et autres
Publié: (2025)
Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations
par: Deng, Guanzhi, et autres
Publié: (2025)
par: Deng, Guanzhi, et autres
Publié: (2025)
The Expressive Power of Low-Rank Adaptation
par: Zeng, Yuchen, et autres
Publié: (2023)
par: Zeng, Yuchen, et autres
Publié: (2023)
AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
par: Liu, Zeyu, et autres
Publié: (2024)
par: Liu, Zeyu, et autres
Publié: (2024)
RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
par: Liu, Dongqi, et autres
Publié: (2024)
par: Liu, Dongqi, et autres
Publié: (2024)
ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
par: Song, Yurun, et autres
Publié: (2024)
par: Song, Yurun, et autres
Publié: (2024)
Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning
par: Liang, Yao, et autres
Publié: (2024)
par: Liang, Yao, et autres
Publié: (2024)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
par: Wang, Zhengbo, et autres
Publié: (2024)
par: Wang, Zhengbo, et autres
Publié: (2024)
Flexora: Flexible Low Rank Adaptation for Large Language Models
par: Wei, Chenxing, et autres
Publié: (2024)
par: Wei, Chenxing, et autres
Publié: (2024)
Recover-LoRA: Data-Free Accuracy Recovery of Degraded Language Models via Low-Rank Adaptation
par: Das, Devleena, et autres
Publié: (2025)
par: Das, Devleena, et autres
Publié: (2025)
Variational Low-Rank Adaptation Using IVON
par: Cong, Bai, et autres
Publié: (2024)
par: Cong, Bai, et autres
Publié: (2024)
Batched Low-Rank Adaptation of Foundation Models
par: Wen, Yeming, et autres
Publié: (2023)
par: Wen, Yeming, et autres
Publié: (2023)
zFLoRA: Zero-Latency Fused Low-Rank Adapters
par: Gowda, Dhananjaya, et autres
Publié: (2025)
par: Gowda, Dhananjaya, et autres
Publié: (2025)
ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
par: Chang, Huandong, et autres
Publié: (2025)
par: Chang, Huandong, et autres
Publié: (2025)
EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation
par: Liu, Shih-Yang, et autres
Publié: (2024)
par: Liu, Shih-Yang, et autres
Publié: (2024)
LoRTA: Low Rank Tensor Adaptation of Large Language Models
par: Hounie, Ignacio, et autres
Publié: (2024)
par: Hounie, Ignacio, et autres
Publié: (2024)
GLoRIA: Gated Low-Rank Interpretable Adaptation for Dialectal ASR
par: Mehralian, Pouya, et autres
Publié: (2026)
par: Mehralian, Pouya, et autres
Publié: (2026)
Assessing the Brittleness of Safety Alignment via Pruning and Low-Rank Modifications
par: Wei, Boyi, et autres
Publié: (2024)
par: Wei, Boyi, et autres
Publié: (2024)
RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model
par: Zhou, Changhai, et autres
Publié: (2024)
par: Zhou, Changhai, et autres
Publié: (2024)
LoTR: Low Tensor Rank Weight Adaptation
par: Bershatsky, Daniel, et autres
Publié: (2024)
par: Bershatsky, Daniel, et autres
Publié: (2024)
LoRMA: Low-Rank Multiplicative Adaptation for LLMs
par: Bihany, Harsh, et autres
Publié: (2025)
par: Bihany, Harsh, et autres
Publié: (2025)
Documents similaires
-
TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition
par: Lin, Tianwei, et autres
Publié: (2024) -
DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
par: Mu, Lin, et autres
Publié: (2025) -
TLoRA: Task-aware Low Rank Adaptation of Large Language Models
par: Lin, Weicheng, et autres
Publié: (2026) -
SBoRA: Low-Rank Adaptation with Regional Weight Updates
par: Po, Lai-Man, et autres
Publié: (2024) -
LoRA+: Efficient Low Rank Adaptation of Large Models
par: Hayou, Soufiane, et autres
Publié: (2024)