Buchumschlag

SARA: Singular-Value Based Adaptive Low-Rank Adaption

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gu, Jihao, Chen, Shuai, Wang, Zelin, Zhang, Yibo, Gong, Ping
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models
von: Eide, Simen, et al.
Veröffentlicht: (2024)

Adapprox: Adaptive Approximation in Adam Optimization via Randomized Low-Rank Matrices
von: Zhao, Pengxiang, et al.
Veröffentlicht: (2024)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
von: Nasiri, Hamid, et al.
Veröffentlicht: (2025)

A Bayesian Interpretation of Adaptive Low-Rank Adaptation
von: Chen, Haolin, et al.
Veröffentlicht: (2024)

Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs
von: Zhang, Yifei, et al.
Veröffentlicht: (2024)

Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

DALLMi: Domain Adaption for LLM-based Multi-label Classifier
von: Beţianu, Miruna, et al.
Veröffentlicht: (2024)

SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
von: Wang, Xin, et al.
Veröffentlicht: (2024)

SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation
von: Zhang, Wenbo, et al.
Veröffentlicht: (2025)

FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
von: Wang, Xinyi, et al.
Veröffentlicht: (2025)

Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
von: Erden, Caner
Veröffentlicht: (2025)

HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs
von: Chen, Junying, et al.
Veröffentlicht: (2023)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
von: He, Haonan, et al.
Veröffentlicht: (2025)

GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression
von: Liu, Kainan, et al.
Veröffentlicht: (2024)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Unlocking the Global Synergies in Low-Rank Adapters
von: Zhang, Zixi, et al.
Veröffentlicht: (2024)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
von: Qin, Peijia, et al.
Veröffentlicht: (2024)

SoftLMs: Efficient Adaptive Low-Rank Approximation of Language Models using Soft-Thresholding Mechanism
von: Bhatnagar, Priyansh, et al.
Veröffentlicht: (2024)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

LQER: Low-Rank Quantization Error Reconstruction for LLMs
von: Zhang, Cheng, et al.
Veröffentlicht: (2024)

Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation
von: Li, Jin, et al.
Veröffentlicht: (2025)

MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
von: Si, Chongjie, et al.
Veröffentlicht: (2025)

Accelerating the Low-Rank Decomposed Models
von: Hajimolahoseini, Habib, et al.
Veröffentlicht: (2024)

Fast Forwarding Low-Rank Training
von: Rahamim, Adir, et al.
Veröffentlicht: (2024)

AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
von: Zhang, Ruiyi, et al.
Veröffentlicht: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
von: Li, Shiwei, et al.
Veröffentlicht: (2025)

Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns
von: Zhao, Yang, et al.
Veröffentlicht: (2024)

When and Why Does Unsupervised RL Succeed in Mathematical Reasoning? A Manifold Envelopment Perspective
von: Zhang, Zelin, et al.
Veröffentlicht: (2026)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
von: Sun, Chengwei, et al.
Veröffentlicht: (2024)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Zhang, Haojie
Veröffentlicht: (2025)

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
von: Chen, Lixian, et al.
Veröffentlicht: (2026)

OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning
von: Feng, Jinyuan, et al.
Veröffentlicht: (2025)

KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models
von: Wang, Fan, et al.
Veröffentlicht: (2024)

Ensembles of Low-Rank Expert Adapters
von: Li, Yinghao, et al.
Veröffentlicht: (2025)

LoQT: Low-Rank Adapters for Quantized Pretraining
von: Loeschcke, Sebastian, et al.
Veröffentlicht: (2024)

Contextually Guided Transformers via Low-Rank Adaptation
von: Zhmoginov, Andrey, et al.
Veröffentlicht: (2025)

RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism
von: Sun, Mengyang, et al.
Veröffentlicht: (2026)