A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Seong-Eun, Baek, Jung-Mok, Lee, Sung-Bin, Kim, Oh, Tae-Hyun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SMILE-Next: Teaching Large Language Models to Detect, Classify, and Reason about Laughter
von: Jung-Mok, Lee, et al.
Veröffentlicht: (2026)

mEOL: Training-Free Instruction-Guided Multimodal Embedder for Vector Graphics and Image Retrieval
von: Kim, Kyeong Seon, et al.
Veröffentlicht: (2026)

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
von: Xiao, Yicheng, et al.
Veröffentlicht: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

SMILE: Multimodal Dataset for Understanding Laughter in Video with Language Models
von: Hyun, Lee, et al.
Veröffentlicht: (2023)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA
von: Jung, Chanjoo, et al.
Veröffentlicht: (2025)

A Note on LoRA
von: Fomenko, Vlad, et al.
Veröffentlicht: (2024)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
von: Zhang, Yuxuan, et al.
Veröffentlicht: (2024)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
von: Vulić, Ivan, et al.
Veröffentlicht: (2026)

Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning
von: Kim, Myoungjun, et al.
Veröffentlicht: (2026)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
von: Ran, Delong, et al.
Veröffentlicht: (2025)

Beware of the Batch Size: Hyperparameter Bias in Evaluating LoRA
von: Lee, Sangyoon, et al.
Veröffentlicht: (2026)

ALTER: Asymmetric LoRA for Token-Entropy-Guided Unlearning of LLMs
von: Chen, Xunlei, et al.
Veröffentlicht: (2026)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
von: Tang, Haozhan, et al.
Veröffentlicht: (2026)

HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
von: Trojan, Bartosz, et al.
Veröffentlicht: (2026)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
von: Li, Dengchun, et al.
Veröffentlicht: (2024)

A Survey on LoRA of Large Language Models
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance
von: Chung, Hyunsuk, et al.
Veröffentlicht: (2026)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

SEQR: Secure and Efficient QR-based LoRA Routing
von: Fleshman, William, et al.
Veröffentlicht: (2025)

Improving LoRA with Variational Learning
von: Cong, Bai, et al.
Veröffentlicht: (2025)

A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs
von: Wei, Jiacheng, et al.
Veröffentlicht: (2025)

Doc-to-LoRA: Learning to Instantly Internalize Contexts
von: Charakorn, Rujikorn, et al.
Veröffentlicht: (2026)

LoraMap: Harnessing the Power of LoRA Connections
von: Park, Hyeryun, et al.
Veröffentlicht: (2024)

Higher Layers Need More LoRA Experts
von: Gao, Chongyang, et al.
Veröffentlicht: (2024)

Riemannian Optimization for LoRA on the Stiefel Manifold
von: Park, Juneyoung, et al.
Veröffentlicht: (2025)

MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models
von: Xu, Jingwei, et al.
Veröffentlicht: (2024)

LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR
von: Song, Zheshu, et al.
Veröffentlicht: (2024)

LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
von: Liu, Hongyi, et al.
Veröffentlicht: (2024)

MiSS: Revisiting the Trade-off in LoRA with an Efficient Shard-Sharing Structure
von: Kang, Jiale, et al.
Veröffentlicht: (2024)

LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition
von: Huang, Chengsong, et al.
Veröffentlicht: (2023)

Budgeted LoRA: Distillation as Structured Compute Allocation for Efficient Inference
von: Sabry, Mohammed, et al.
Veröffentlicht: (2026)

STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models
von: Zhang, Linhai, et al.
Veröffentlicht: (2024)