Buchumschlag

Flora: Low-Rank Adapters Are Secretly Gradient Compressors

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hao, Yongchang, Cao, Yanshuai, Mou, Lili
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
von: Hao, Yongchang, et al.
Veröffentlicht: (2026)

Exploring Model Invariance with Discrete Search for Ultra-Low-Bit Quantization
von: Wen, Yuqiao, et al.
Veröffentlicht: (2025)

Ensemble Distillation for Unsupervised Constituency Parsing
von: Shayegh, Behzad, et al.
Veröffentlicht: (2023)

Towards Symmetric Low-Rank Adapters
von: Panoutsos, Tales, et al.
Veröffentlicht: (2025)

Aggregating Low Rank Adapters in Federated Fine-tuning
von: Trautmann, Evelyn, et al.
Veröffentlicht: (2025)

Ensembles of Low-Rank Expert Adapters
von: Li, Yinghao, et al.
Veröffentlicht: (2025)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

Sparse High Rank Adapters
von: Bhardwaj, Kartikeya, et al.
Veröffentlicht: (2024)

Do Neural Networks Lose Plasticity in a Gradually Changing World?
von: Liu, Tianhui, et al.
Veröffentlicht: (2026)

Plasticity vs. Rigidity: The Impact of Low-Rank Adapters on Reasoning on a Micro-Budget
von: Khan, Zohaib, et al.
Veröffentlicht: (2026)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

Multiple Choice Learning of Low-Rank Adapters for Language Modeling
von: Letzelter, Victor, et al.
Veröffentlicht: (2025)

Low Rank Gradients and Where to Find Them
von: Sonthalia, Rishi, et al.
Veröffentlicht: (2025)

AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
von: Khazem, Salim
Veröffentlicht: (2026)

SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2024)

LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits
von: Mirzaei, Amir Reza, et al.
Veröffentlicht: (2025)

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
von: Muñoz, J. Pablo, et al.
Veröffentlicht: (2025)

zFLoRA: Zero-Latency Fused Low-Rank Adapters
von: Gowda, Dhananjaya, et al.
Veröffentlicht: (2025)

Matrix Low-Rank Approximation For Policy Gradient Methods
von: Rozada, Sergio, et al.
Veröffentlicht: (2024)

Unbiased Gradient Low-Rank Projection
von: Pan, Rui, et al.
Veröffentlicht: (2025)

Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models
von: Wang, Hui-Po, et al.
Veröffentlicht: (2024)

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering
von: Ping, Siqi, et al.
Veröffentlicht: (2024)

PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint
von: Vasani, Bhoomit, et al.
Veröffentlicht: (2025)

BoostLoRA: Growing Effective Rank by Boosting Adapters
von: Anantha, Raviteja, et al.
Veröffentlicht: (2026)

PoLAR: Polar-Decomposed Low-Rank Adapter Representation
von: Lion, Kai, et al.
Veröffentlicht: (2025)

LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
von: Li, Dongheng, et al.
Veröffentlicht: (2024)

EBBS: An Ensemble with Bi-Level Beam Search for Zero-Shot Machine Translation
von: Wen, Yuqiao, et al.
Veröffentlicht: (2024)

Training Neural Networks from Scratch with Parallel Low-Rank Adapters
von: Huh, Minyoung, et al.
Veröffentlicht: (2024)

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
von: Wang, Xinjue, et al.
Veröffentlicht: (2026)

Learning Adapter Rank via Symmetry Breaking
von: Doyle, Cooper, et al.
Veröffentlicht: (2025)

Jump Starting Bandits with LLM-Generated Prior Knowledge
von: Alamdari, Parand A., et al.
Veröffentlicht: (2024)

Jump Start or False Start? A Theoretical and Empirical Evaluation of LLM-initialized Bandits
von: Bayley, Adam, et al.
Veröffentlicht: (2026)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning
von: Cong, Peizhuang, et al.
Veröffentlicht: (2025)

GaLore 2: Large-Scale LLM Pre-Training by Gradient Low-Rank Projection
von: Su, DiJia, et al.
Veröffentlicht: (2025)

Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
von: Miao, Tianhao, et al.
Veröffentlicht: (2026)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
von: He, Haonan, et al.
Veröffentlicht: (2025)

A Dual-View Approach to Classifying Radiology Reports by Co-Training
von: Han, Yutong, et al.
Veröffentlicht: (2024)