Copertina

EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kaushik, Prakhar, Vaidya, Ankit, Chaudhari, Shravan, Yuille, Alan
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Shared LoRA Subspaces for almost Strict Continual Learning
di: Kaushik, Prakhar, et al.
Pubblicazione: (2026)

The Universal Weight Subspace Hypothesis
di: Kaushik, Prakhar, et al.
Pubblicazione: (2025)

Open-Set Domain Adaptation Under Background Distribution Shift: Challenges and A Provably Efficient Solution
di: Chaudhari, Shravan, et al.
Pubblicazione: (2025)

Source-Free and Image-Only Unsupervised Domain Adaptation for Category Level Object Pose Estimation
di: Kaushik, Prakhar, et al.
Pubblicazione: (2024)

A Bayesian Approach to OOD Robustness in Image Classification
di: Kaushik, Prakhar, et al.
Pubblicazione: (2024)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
di: Luo, Minrui, et al.
Pubblicazione: (2025)

mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs
di: Ye, Zhengmao, et al.
Pubblicazione: (2023)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
di: Wan, Zhiyi, et al.
Pubblicazione: (2025)

Mixture-of-Subspaces in Low-Rank Adaptation
di: Wu, Taiqiang, et al.
Pubblicazione: (2024)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2024)

LoReTTA: A Low Resource Framework To Poison Continuous Time Dynamic Graphs
di: Pal, Himanshu, et al.
Pubblicazione: (2025)

BoostLoRA: Growing Effective Rank by Boosting Adapters
di: Anantha, Raviteja, et al.
Pubblicazione: (2026)

Effective LoRA Adapter Routing using Task Representations
di: Dhasade, Akash, et al.
Pubblicazione: (2026)

Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
di: Jaiswal, Shashwat, et al.
Pubblicazione: (2025)

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
di: Shen, Yixin
Pubblicazione: (2025)

Test-time Adaptation for Regression by Subspace Alignment
di: Adachi, Kazuki, et al.
Pubblicazione: (2024)

Eigen-Value: Efficient Domain-Robust Data Valuation via Eigenvalue-Based Approach
di: Choi, Youngjun, et al.
Pubblicazione: (2025)

EVAL: EigenVector-based Average-reward Learning
di: Adamczyk, Jacob, et al.
Pubblicazione: (2025)

LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning
di: Du, Zhekai, et al.
Pubblicazione: (2025)

Disentangled Safety Adapters Enable Efficient Guardrails and Flexible Inference-Time Alignment
di: Krishna, Kundan, et al.
Pubblicazione: (2025)

Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement
di: Patel, Gaurav, et al.
Pubblicazione: (2024)

POLAR: Online Learning for LoRA Adapter Caching and Routing in Edge LLM Serving
di: Li, Shaoang, et al.
Pubblicazione: (2026)

Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment
di: Peng, Hongyi, et al.
Pubblicazione: (2026)

Bootstrapped Mixed Rewards for RL Post-Training: Injecting Canonical Action Order
di: Gupta, Prakhar, et al.
Pubblicazione: (2025)

Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
di: Srivastava, Prakhar, et al.
Pubblicazione: (2025)

Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling
di: Wang, Hong, et al.
Pubblicazione: (2024)

Finding the Muses: Identifying Coresets through Loss Trajectories
di: Nagaraj, Manish, et al.
Pubblicazione: (2025)

Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
di: Samplawski, Colin, et al.
Pubblicazione: (2025)

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Jung, Yeonjoon, et al.
Pubblicazione: (2025)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
di: Li, Yanan, et al.
Pubblicazione: (2025)

S-LoRA: Serving Thousands of Concurrent LoRA Adapters
di: Sheng, Ying, et al.
Pubblicazione: (2023)

Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
di: Rahulamathavan, Yogachandran, et al.
Pubblicazione: (2026)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

On-the-Fly Adaptation to Quantization: Configuration-Aware LoRA for Efficient Fine-Tuning of Quantized LLMs
di: Ye, Rongguang, et al.
Pubblicazione: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
di: Li, Haoran, et al.
Pubblicazione: (2026)

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective
di: Zhang, Suoxin, et al.
Pubblicazione: (2026)

Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis
di: Chaudhari, Shravan, et al.
Pubblicazione: (2025)

PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
di: Meng, Fanxu, et al.
Pubblicazione: (2024)