Buchumschlag

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Justin, Wang, Timothy, Abid, Wael, Angus, Geoffrey, Garg, Arnav, Kinnison, Jeffery, Sherstinsky, Alex, Molino, Piero, Addair, Travis, Rishi, Devvret
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
von: Shen, Yixin
Veröffentlicht: (2025)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
von: Ran, Delong, et al.
Veröffentlicht: (2025)

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
von: Luo, Minrui, et al.
Veröffentlicht: (2025)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
von: Ed-dib, Abdessalam, et al.
Veröffentlicht: (2024)

Activated LoRA: Fine-tuned LLMs for Intrinsics
von: Greenewald, Kristjan, et al.
Veröffentlicht: (2025)

Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection
von: Lelle, Travis
Veröffentlicht: (2026)

GPT Meets Graphs and KAN Splines: Testing Novel Frameworks on Multitask Fine-Tuned GPT-2 with LoRA
von: Bo, Gabriel, et al.
Veröffentlicht: (2025)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
von: Sheng, Ying, et al.
Veröffentlicht: (2023)

LoRA-BAM: Input Filtering for Fine-tuned LLMs via Boxed Abstraction Monitors over LoRA Layers
von: Wu, Changshun, et al.
Veröffentlicht: (2025)

LoRA vs Full Fine-tuning: An Illusion of Equivalence
von: Shuttleworth, Reece, et al.
Veröffentlicht: (2024)

LoRA-Mini : Adaptation Matrices Decomposition and Selective Training
von: Singh, Ayush, et al.
Veröffentlicht: (2024)

Run LoRA Run: Faster and Lighter LoRA Implementations
von: Cherniuk, Daria, et al.
Veröffentlicht: (2023)

Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates
von: Xu, Yixing, et al.
Veröffentlicht: (2025)

LoRA as Oracle
von: Arazzi, Marco, et al.
Veröffentlicht: (2026)

Vision as LoRA
von: Wang, Han, et al.
Veröffentlicht: (2025)

Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
von: Balabanov, Oleksandr, et al.
Veröffentlicht: (2024)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning
von: Xie, Sijing, et al.
Veröffentlicht: (2025)

FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA
von: Zhang, Haoran, et al.
Veröffentlicht: (2026)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2026)

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
von: Jeon, Jeimin, et al.
Veröffentlicht: (2026)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

Formalising the Logit Shift Induced by LoRA: A Technical Note
von: Shi, Xiang, et al.
Veröffentlicht: (2026)

Selective LoRA for Visual Tokens and Attention Heads
von: Luo, Tiange, et al.
Veröffentlicht: (2025)

ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads
von: Zuo, Jingwei, et al.
Veröffentlicht: (2026)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
von: Zhou, Hongyun, et al.
Veröffentlicht: (2024)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
von: Smith, Ethan, et al.
Veröffentlicht: (2024)

SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
von: Liu, Jianmin, et al.
Veröffentlicht: (2025)

TC-LoRA: Temporally Modulated Conditional LoRA for Adaptive Diffusion Control
von: Cho, Minkyoung, et al.
Veröffentlicht: (2025)

NP-LoRA: Null Space Projection for Subject-Style LoRA Fusion
von: Chen, Chuheng, et al.
Veröffentlicht: (2025)

ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA
von: Dahan, Aviad, et al.
Veröffentlicht: (2026)

HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization
von: Su, Yang, et al.
Veröffentlicht: (2024)

Layer-wise LoRA fine-tuning: a similarity metric approach
von: Ogawa, Keith Ando, et al.
Veröffentlicht: (2026)

Private LoRA Fine-tuning of Open-Source LLMs with Homomorphic Encryption
von: Frery, Jordan, et al.
Veröffentlicht: (2025)

LoRA-FA: Efficient and Effective Low Rank Representation Fine-tuning
von: Zhang, Longteng, et al.
Veröffentlicht: (2023)

Bayesian-LoRA: LoRA based Parameter Efficient Fine-Tuning using Optimal Quantization levels and Rank Values trough Differentiable Bayesian Gates
von: Meo, Cristian, et al.
Veröffentlicht: (2024)

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients
von: Shen, Zhikang, et al.
Veröffentlicht: (2026)