Buchumschlag

Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liang, Yao, Wang, Yuwei, Li, Yang, Zeng, Yi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Liang, Yao, et al.
Veröffentlicht: (2025)

MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning
von: Agiza, Ahmed, et al.
Veröffentlicht: (2024)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
von: Liu, Zeyu, et al.
Veröffentlicht: (2024)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
von: Chen, Yu, et al.
Veröffentlicht: (2025)

AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
von: Zhang, Ruiyi, et al.
Veröffentlicht: (2024)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
von: Zhao, Jiancheng, et al.
Veröffentlicht: (2025)

ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
von: Song, Yurun, et al.
Veröffentlicht: (2024)

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Jung, Yeonjoon, et al.
Veröffentlicht: (2025)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
von: Chang, Huandong, et al.
Veröffentlicht: (2025)

TLoRA: Task-aware Low Rank Adaptation of Large Language Models
von: Lin, Weicheng, et al.
Veröffentlicht: (2026)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation
von: Benedek, Nadav, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
von: Bałazy, Klaudia, et al.
Veröffentlicht: (2024)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

MVPBench: A Benchmark and Fine-Tuning Framework for Aligning Large Language Models with Diverse Human Values
von: Liang, Yao, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning With Adapters
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
von: Chen, Renqi, et al.
Veröffentlicht: (2025)

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
von: Mu, Lin, et al.
Veröffentlicht: (2025)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition
von: Lin, Tianwei, et al.
Veröffentlicht: (2024)

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
von: Modoranu, Ionut-Vlad, et al.
Veröffentlicht: (2026)

EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2024)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
von: He, Haonan, et al.
Veröffentlicht: (2025)

SBoRA: Low-Rank Adaptation with Regional Weight Updates
von: Po, Lai-Man, et al.
Veröffentlicht: (2024)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
von: Yang, Yaming, et al.
Veröffentlicht: (2024)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
von: Nasiri, Hamid, et al.
Veröffentlicht: (2025)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Zhang, Haojie
Veröffentlicht: (2025)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
von: Liu, Jun, et al.
Veröffentlicht: (2025)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2024)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
von: Liu, Ziyun, et al.
Veröffentlicht: (2026)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
von: Pathak, Harsh Nilesh, et al.
Veröffentlicht: (2025)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
von: Zhou, Kaiye, et al.
Veröffentlicht: (2024)

Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations
von: Deng, Guanzhi, et al.
Veröffentlicht: (2025)

The Expressive Power of Low-Rank Adaptation
von: Zeng, Yuchen, et al.
Veröffentlicht: (2023)