Copertina

LoTR: Low Tensor Rank Weight Adaptation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Bershatsky, Daniel, Cherniuk, Daria, Daulbaev, Talgat, Mikhalev, Aleksandr, Oseledets, Ivan
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Run LoRA Run: Faster and Lighter LoRA Implementations
di: Cherniuk, Daria, et al.
Pubblicazione: (2023)

On the Spatial Structure of Mixture-of-Experts in Transformers
di: Bershatsky, Daniel, et al.
Pubblicazione: (2025)

Quantization of Large Language Models with an Overdetermined Basis
di: Merkulov, Daniil, et al.
Pubblicazione: (2024)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
di: Yang, Yifan, et al.
Pubblicazione: (2024)

LoRMA: Low-Rank Multiplicative Adaptation for LLMs
di: Bihany, Harsh, et al.
Pubblicazione: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
di: Hayou, Soufiane, et al.
Pubblicazione: (2024)

SBoRA: Low-Rank Adaptation with Regional Weight Updates
di: Po, Lai-Man, et al.
Pubblicazione: (2024)

MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
di: Yang, Yaming, et al.
Pubblicazione: (2024)

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
di: Liu, Ziyun, et al.
Pubblicazione: (2026)

SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
di: Zhou, Kaiye, et al.
Pubblicazione: (2024)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
di: Bałazy, Klaudia, et al.
Pubblicazione: (2024)

AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
di: Zhang, Ruiyi, et al.
Pubblicazione: (2024)

LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
di: Zhang, Juzheng, et al.
Pubblicazione: (2025)

Exploring the Hidden Capacity of LLMs for One-Step Text Generation
di: Mezentsev, Gleb, et al.
Pubblicazione: (2025)

Variational Low-Rank Adaptation Using IVON
di: Cong, Bai, et al.
Pubblicazione: (2024)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
di: Nasiri, Hamid, et al.
Pubblicazione: (2025)

RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
di: Liu, Dongqi, et al.
Pubblicazione: (2024)

The Expressive Power of Low-Rank Adaptation
di: Zeng, Yuchen, et al.
Pubblicazione: (2023)

Recover-LoRA: Data-Free Accuracy Recovery of Degraded Language Models via Low-Rank Adaptation
di: Das, Devleena, et al.
Pubblicazione: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
di: Tang, Chuanyu, et al.
Pubblicazione: (2024)

Batched Low-Rank Adaptation of Foundation Models
di: Wen, Yeming, et al.
Pubblicazione: (2023)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
di: Wang, Zhengbo, et al.
Pubblicazione: (2024)

LoLCATs: On Low-Rank Linearizing of Large Language Models
di: Zhang, Michael, et al.
Pubblicazione: (2024)

Low-Rank Adaptation for Multilingual Summarization: An Empirical Study
di: Whitehouse, Chenxi, et al.
Pubblicazione: (2023)

LoRe: Personalizing LLMs via Low-Rank Reward Modeling
di: Bose, Avinandan, et al.
Pubblicazione: (2025)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
di: He, Haonan, et al.
Pubblicazione: (2025)

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation
di: Sehanobish, Arijit, et al.
Pubblicazione: (2026)

LoRTA: Low Rank Tensor Adaptation of Large Language Models
di: Hounie, Ignacio, et al.
Pubblicazione: (2024)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
di: Chang, Huandong, et al.
Pubblicazione: (2025)

LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning
di: Perin, Gabriel J., et al.
Pubblicazione: (2025)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
di: Barazandeh, Babak, et al.
Pubblicazione: (2025)

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
di: Wang, Xinjue, et al.
Pubblicazione: (2026)

BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
di: Wang, Yibin, et al.
Pubblicazione: (2024)

GaLore$+$: Boosting Low-Rank Adaptation for LLMs with Cross-Head Projection
di: Liao, Xutao, et al.
Pubblicazione: (2024)

Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
di: Wang, Dianyun, et al.
Pubblicazione: (2025)

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
di: Modoranu, Ionut-Vlad, et al.
Pubblicazione: (2026)

Assigning Distinct Roles to Quantized and Low-Rank Matrices Toward Optimal Weight Decomposition
di: Cho, Yoonjun, et al.
Pubblicazione: (2025)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
di: Xiao, Xiaojun, et al.
Pubblicazione: (2024)

CeRA: Overcoming the Linear Ceiling of Low-Rank Adaptation via Capacity Expansion
di: Chen, Hung-Hsuan
Pubblicazione: (2026)

ChameleonLLM: Batch-Aware Dynamic Low-Rank Adaptation via Inference-Time Clusters
di: Yuksel, Kamer Ali, et al.
Pubblicazione: (2025)