Buchumschlag

Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gupta, Divij, Bhatti, Anubhav, Parmar, Surajsinh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting
von: Gupta, Divij, et al.
Veröffentlicht: (2024)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach
von: Zhou, Meng, et al.
Veröffentlicht: (2024)

Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
von: Zhu, Zhanda, et al.
Veröffentlicht: (2025)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
von: Bian, Jieming, et al.
Veröffentlicht: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)

Interpretable Vital Sign Forecasting with Model Agnostic Attention Maps
von: Liu, Yuwei, et al.
Veröffentlicht: (2024)

PLoRA: Efficient LoRA Hyperparameter Tuning for Large Models
von: Yan, Minghao, et al.
Veröffentlicht: (2025)

Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
von: Seregina, Irina, et al.
Veröffentlicht: (2025)

Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
von: Zhang, Zikai, et al.
Veröffentlicht: (2025)

Rethinking the Rank Threshold for LoRA Fine-Tuning
von: Park, Juneyoung
Veröffentlicht: (2026)

TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
von: Kunwar, Pradip, et al.
Veröffentlicht: (2025)

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
von: Shinwari, Haseeb Ullah Khan, et al.
Veröffentlicht: (2025)

Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning
von: Wang, Lei, et al.
Veröffentlicht: (2025)

LoRA vs. Full Fine-Tuning: A Theoretical Perspective
von: Zindari, Ali, et al.
Veröffentlicht: (2026)

mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs
von: Ye, Zhengmao, et al.
Veröffentlicht: (2023)

Bi-LoRA: Efficient Sharpness-Aware Minimization for Fine-Tuning Large-Scale Models
von: Liu, Yuhang, et al.
Veröffentlicht: (2025)

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
von: Luo, Minrui, et al.
Veröffentlicht: (2025)

Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models
von: Cho, Yae Jee, et al.
Veröffentlicht: (2024)

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
von: Ed-dib, Abdessalam, et al.
Veröffentlicht: (2024)

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
von: Liu, Yezi, et al.
Veröffentlicht: (2025)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
von: Zhou, Zikai, et al.
Veröffentlicht: (2025)

LoRA-MME: Multi-Model Ensemble of LoRA-Tuned Encoders for Code Comment Classification
von: Haider, Md Akib, et al.
Veröffentlicht: (2026)

$α$-LoRA: Effective Fine-Tuning via Base Model Rescaling
von: Firdoussi, Aymane El, et al.
Veröffentlicht: (2025)

FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
von: Bian, Jieming, et al.
Veröffentlicht: (2026)

Adaptive and Fine-grained Module-wise Expert Pruning for Efficient LoRA-MoE Fine-Tuning
von: Li, Weihang, et al.
Veröffentlicht: (2026)

QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models
von: Liang, Jessica, et al.
Veröffentlicht: (2025)

Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning
von: Feng, Zhi-Quan, et al.
Veröffentlicht: (2026)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
von: Liao, Xiaoxuan, et al.
Veröffentlicht: (2025)

FedLoRA-Optimizer: Federated LoRA Fine-Tuning with Global and Local Optimization in Heterogeneous Data Scenarios
von: Zhao, Jianzhe, et al.
Veröffentlicht: (2025)

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
von: Shen, Yixin
Veröffentlicht: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models
von: Mahla, Navyansh, et al.
Veröffentlicht: (2024)

RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI
von: Gupta, Pankaj, et al.
Veröffentlicht: (2026)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
von: Saket, Abdulmalek
Veröffentlicht: (2026)

MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
von: Manzoni, Andrea
Veröffentlicht: (2026)