Buchumschlag

Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xiang, Haotian, Li, Bingcong, Lu, Qin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

Fine-tuning LLMs with variational Bayesian last layer for high-dimensional Bayesian optimization
von: Xiang, Haotian, et al.
Veröffentlicht: (2025)

PoLAR: Polar-Decomposed Low-Rank Adapter Representation
von: Lion, Kai, et al.
Veröffentlicht: (2025)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
von: Wan, Zhiyi, et al.
Veröffentlicht: (2025)

LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection
von: Zhao, Lanxin, et al.
Veröffentlicht: (2026)

Low-Rank Adaptation Redux for Large Models
von: Li, Bingcong, et al.
Veröffentlicht: (2026)

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering
von: Ping, Siqi, et al.
Veröffentlicht: (2024)

Aggregating Low Rank Adapters in Federated Fine-tuning
von: Trautmann, Evelyn, et al.
Veröffentlicht: (2025)

Surrogate modeling for Bayesian optimization beyond a single Gaussian process
von: Lu, Qin, et al.
Veröffentlicht: (2022)

AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
von: Khazem, Salim
Veröffentlicht: (2026)

Continual Gradient Low-Rank Projection Fine-Tuning for LLMs
von: Wang, Chenxu, et al.
Veröffentlicht: (2025)

SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference
von: Ma, Hao, et al.
Veröffentlicht: (2026)

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
von: Sengupta, Ayan, et al.
Veröffentlicht: (2024)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning
von: Cong, Peizhuang, et al.
Veröffentlicht: (2025)

AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning
von: Zhou, Changhai, et al.
Veröffentlicht: (2026)

Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
von: Samplawski, Colin, et al.
Veröffentlicht: (2025)

Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking
von: Xiang, Haotian, et al.
Veröffentlicht: (2026)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

The Quest for Winning Tickets in Low-Rank Adapters
von: Damirchi, Hamed, et al.
Veröffentlicht: (2025)

Asymmetry in Low-Rank Adapters of Foundation Models
von: Zhu, Jiacheng, et al.
Veröffentlicht: (2024)

Learnable Loss Geometries with Mirror Descent for Scalable and Convergent Meta-Learning
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

DPZero: Private Fine-Tuning of Language Models without Backpropagation
von: Zhang, Liang, et al.
Veröffentlicht: (2023)

Ensembles of Low-Rank Expert Adapters
von: Li, Yinghao, et al.
Veröffentlicht: (2025)

Towards Symmetric Low-Rank Adapters
von: Panoutsos, Tales, et al.
Veröffentlicht: (2025)

Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors
von: Thakur, Himanshu, et al.
Veröffentlicht: (2025)

Decentralized Low-Rank Fine-Tuning of Large Language Models
von: Ghiasvand, Sajjad, et al.
Veröffentlicht: (2025)

Spectral Adapter: Fine-Tuning in Spectral Space
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization
von: Zhai, Zhiyuan, et al.
Veröffentlicht: (2026)

NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models
von: Lin, Cheng, et al.
Veröffentlicht: (2024)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Unlocking the Global Synergies in Low-Rank Adapters
von: Zhang, Zixi, et al.
Veröffentlicht: (2024)

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions
von: Zhang, Wenhao, et al.
Veröffentlicht: (2026)

Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
von: Wang, Yizheng, et al.
Veröffentlicht: (2025)

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning
von: Refael, Yehonathan, et al.
Veröffentlicht: (2024)

Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters
von: Bhardwaj, Kartikeya, et al.
Veröffentlicht: (2024)

Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation
von: Wu, Fei, et al.
Veröffentlicht: (2025)

SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2024)

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
von: Zhang, Yilang, et al.
Veröffentlicht: (2025)

Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning
von: Pasquali, Joana, et al.
Veröffentlicht: (2026)