Buchumschlag

Derivative-Free Optimization for Low-Rank Adaptation in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jin, Feihu, Liu, Yin, Tan, Ying
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
von: Jin, Feihu, et al.
Veröffentlicht: (2024)

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Flexora: Flexible Low Rank Adaptation for Large Language Models
von: Wei, Chenxing, et al.
Veröffentlicht: (2024)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
von: Xiao, Xiaojun, et al.
Veröffentlicht: (2024)

OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models
von: Büyükakyüz, Kerim
Veröffentlicht: (2024)

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
von: Mu, Lin, et al.
Veröffentlicht: (2025)

ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models
von: Liu, Zequan, et al.
Veröffentlicht: (2024)

Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models
von: Liu, Kainan, et al.
Veröffentlicht: (2026)

Gated Integration of Low-Rank Adaptation for Continual Learning of Large Language Models
von: Liang, Yan-Shuo, et al.
Veröffentlicht: (2025)

NLoRA: Nyström-Initiated Low-Rank Adaptation for Large Language Models
von: Guo, Chenlu, et al.
Veröffentlicht: (2025)

LoRTA: Low Rank Tensor Adaptation of Large Language Models
von: Hounie, Ignacio, et al.
Veröffentlicht: (2024)

Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models
von: Onal, Emre, et al.
Veröffentlicht: (2024)

AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts
von: Liu, Zefang, et al.
Veröffentlicht: (2024)

TLoRA: Task-aware Low Rank Adaptation of Large Language Models
von: Lin, Weicheng, et al.
Veröffentlicht: (2026)

LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model
von: Hu, Yuxuan, et al.
Veröffentlicht: (2025)

Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models
von: Lu, Yuheng, et al.
Veröffentlicht: (2024)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
von: Zhang, Jingfan, et al.
Veröffentlicht: (2024)

BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
von: Wang, Yibin, et al.
Veröffentlicht: (2024)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2024)

Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
von: Palaskar, Shruti, et al.
Veröffentlicht: (2024)

RaSA: Rank-Sharing Low-Rank Adaptation
von: He, Zhiwei, et al.
Veröffentlicht: (2025)

Instant Personalized Large Language Model Adaptation via Hypernetwork
von: Tan, Zhaoxuan, et al.
Veröffentlicht: (2025)

DoRA: Weight-Decomposed Low-Rank Adaptation
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2024)

SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model
von: Yu, Jiayang, et al.
Veröffentlicht: (2025)

1+1>2: A Synergistic Sparse and Low-Rank Compression Method for Large Language Models
von: Zong, Zeliang, et al.
Veröffentlicht: (2025)

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
von: Chang, Yupeng, et al.
Veröffentlicht: (2024)

Recover-LoRA: Data-Free Accuracy Recovery of Degraded Language Models via Low-Rank Adaptation
von: Das, Devleena, et al.
Veröffentlicht: (2025)

HaLoRA: Hardware-aware Low-Rank Adaptation for Large Language Models Based on Hybrid Compute-in-Memory Architecture
von: Wu, Taiqiang, et al.
Veröffentlicht: (2025)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
von: Chen, Lixian, et al.
Veröffentlicht: (2026)

Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
von: Samplawski, Colin, et al.
Veröffentlicht: (2025)

CoLA: Collaborative Low-Rank Adaptation
von: Zhou, Yiyun, et al.
Veröffentlicht: (2025)

Low-Rank Adaptation with Task-Relevant Feature Enhancement for Fine-tuning Language Models
von: Li, Changqun, et al.
Veröffentlicht: (2024)

Speculative Speech Recognition by Audio-Prefixed Low-Rank Adaptation of Language Models
von: Yusuf, Bolaji, et al.
Veröffentlicht: (2024)

Why LoRA Fails to Forget: Regularized Low-Rank Adaptation Against Backdoors in Language Models
von: Luong, Hoang-Chau, et al.
Veröffentlicht: (2026)

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
von: Cao, Yarui, et al.
Veröffentlicht: (2026)

Batched Low-Rank Adaptation of Foundation Models
von: Wen, Yeming, et al.
Veröffentlicht: (2023)