Buchumschlag

Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Putterman, Theo, Lim, Derek, Gelberg, Yoav, Jegelka, Stefanie, Maron, Haggai
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GradMetaNet: An Equivariant Architecture for Learning on Gradients
von: Gelberg, Yoav, et al.
Veröffentlicht: (2025)

The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof
von: Lim, Derek, et al.
Veröffentlicht: (2024)

Spanning the Visual Analogy Space with a Weight Basis of LoRAs
von: Manor, Hila, et al.
Veröffentlicht: (2026)

On the Expressive Power of Permutation-Equivariant Weight-Space Networks
von: Dayan, Adir, et al.
Veröffentlicht: (2026)

Training Transformers for KV Cache Compressibility
von: Gelberg, Yoav, et al.
Veröffentlicht: (2026)

Equivariant Deep Weight Space Alignment
von: Navon, Aviv, et al.
Veröffentlicht: (2023)

Topological Blindspots: Understanding and Extending Topological Deep Learning Through the Lens of Expressivity
von: Eitan, Yam, et al.
Veröffentlicht: (2024)

Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions
von: Bar-Shalom, Guy, et al.
Veröffentlicht: (2025)

On The Expressive Power of GNN Derivatives
von: Eitan, Yam, et al.
Veröffentlicht: (2025)

A Canonicalization Perspective on Invariant and Equivariant Learning
von: Ma, George, et al.
Veröffentlicht: (2024)

Rank-1 LoRAs Encode Interpretable Reasoning Signals
von: Ward, Jake, et al.
Veröffentlicht: (2025)

Graph Metanetworks for Processing Diverse Neural Architectures
von: Lim, Derek, et al.
Veröffentlicht: (2023)

Any-Subgroup Equivariant Networks via Symmetry Breaking
von: Goel, Abhinav, et al.
Veröffentlicht: (2026)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering
von: Zhao, Ziyu, et al.
Veröffentlicht: (2024)

Improving Recursive Transformers with Mixture of LoRAs
von: Nouriborji, Mohammadmahdi, et al.
Veröffentlicht: (2025)

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
von: Cheng, Ming, et al.
Veröffentlicht: (2025)

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
von: Liu, Yewei, et al.
Veröffentlicht: (2026)

Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results
von: Tahmasebi, Behrooz, et al.
Veröffentlicht: (2020)

LoRAGuard: An Effective Black-box Watermarking Approach for LoRAs
von: Lv, Peizhuo, et al.
Veröffentlicht: (2025)

Future Directions in the Theory of Graph Machine Learning
von: Morris, Christopher, et al.
Veröffentlicht: (2024)

The Appeal and Reality of Recycling LoRAs with Adaptive Merging
von: Liu, Haokun, et al.
Veröffentlicht: (2026)

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning
von: Chen, Nan, et al.
Veröffentlicht: (2026)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

A Flexible, Equivariant Framework for Subgraph GNNs via Graph Products and Graph Coarsening
von: Bar-Shalom, Guy, et al.
Veröffentlicht: (2024)

Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
von: Gupta, Prakhar, et al.
Veröffentlicht: (2026)

ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning
von: Qiu, Ruizhong, et al.
Veröffentlicht: (2026)

Towards Modular LLMs by Building and Reusing a Library of LoRAs
von: Ostapenko, Oleksiy, et al.
Veröffentlicht: (2024)

Two Is Better Than One: Rotations Scale LoRAs
von: Guo, Hongcan, et al.
Veröffentlicht: (2025)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
von: Ban, Hao, et al.
Veröffentlicht: (2025)

ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
von: Khan, Rana Muhammad Shahroz, et al.
Veröffentlicht: (2025)

FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing
von: Elbaz, Ran, et al.
Veröffentlicht: (2025)

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
von: Shah, Viraj, et al.
Veröffentlicht: (2023)

PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2025)

Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks
von: Li, Zongqian, et al.
Veröffentlicht: (2026)

ORACLE: Leveraging Mutual Information for Consistent Character Generation with LoRAs in Diffusion Models
von: Akdemir, Kiymet, et al.
Veröffentlicht: (2024)

LieAugmenter: Equivariant Learning by Discovering Symmetries with Learnable Augmentations
von: Santos-Escriche, Eduardo, et al.
Veröffentlicht: (2025)

MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning
von: Zhao, Lulu, et al.
Veröffentlicht: (2024)

Improved Generalization of Weight Space Networks via Augmentations
von: Shamsian, Aviv, et al.
Veröffentlicht: (2024)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)