Buchumschlag

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bae, Sangmin, Fisch, Adam, Harutyunyan, Hrayr, Ji, Ziwei, Kim, Seungyeon, Schuster, Tal
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation
von: Bae, Sangmin, et al.
Veröffentlicht: (2025)

Block Transformer: Global-to-Local Language Modeling for Fast Inference
von: Ho, Namgyu, et al.
Veröffentlicht: (2024)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
von: Zhou, Hongyun, et al.
Veröffentlicht: (2024)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
von: Ban, Hao, et al.
Veröffentlicht: (2025)

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance
von: Chung, Hyunsuk, et al.
Veröffentlicht: (2026)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

In-context Learning in Presence of Spurious Correlations
von: Harutyunyan, Hrayr, et al.
Veröffentlicht: (2024)

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation
von: Jaber, Jaber, et al.
Veröffentlicht: (2026)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
von: Vulić, Ivan, et al.
Veröffentlicht: (2026)

Mixture of LoRA Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

A Note on LoRA
von: Fomenko, Vlad, et al.
Veröffentlicht: (2024)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
von: Cheng, Ming, et al.
Veröffentlicht: (2025)

Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms
von: Vaidya, Omatharv Bharat, et al.
Veröffentlicht: (2026)

Improving LoRA with Variational Learning
von: Cong, Bai, et al.
Veröffentlicht: (2025)

LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters
von: Bałazy, Klaudia, et al.
Veröffentlicht: (2024)

QuAILoRA: Quantization-Aware Initialization for LoRA
von: Lawton, Neal, et al.
Veröffentlicht: (2024)

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
von: Saket, Abdulmalek
Veröffentlicht: (2026)

Layer-wise LoRA fine-tuning: a similarity metric approach
von: Ogawa, Keith Ando, et al.
Veröffentlicht: (2026)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRA Learns Less and Forgets Less
von: Biderman, Dan, et al.
Veröffentlicht: (2024)

LoRA Is Slower Than You Think
von: Ko, Seokmin
Veröffentlicht: (2025)

LoRA-Drop: Temporal LoRA Decoding for Efficient LLM Inference
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2026)

FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation
von: Sathyavageeswaran, Ramakrishnan
Veröffentlicht: (2026)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
von: Zhang, Yuxuan, et al.
Veröffentlicht: (2024)

Mimetic Initialization Helps State Space Models Learn to Recall
von: Trockman, Asher, et al.
Veröffentlicht: (2024)

Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning
von: Kim, Myoungjun, et al.
Veröffentlicht: (2026)

LoRA-Guard: Parameter-Efficient Guardrail Adaptation for Content Moderation of Large Language Models
von: Elesedy, Hayder, et al.
Veröffentlicht: (2024)

LoRA vs Full Fine-tuning: An Illusion of Equivalence
von: Shuttleworth, Reece, et al.
Veröffentlicht: (2024)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks
von: Li, Yang, et al.
Veröffentlicht: (2024)

A Survey on LoRA of Large Language Models
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

Tina: Tiny Reasoning Models via LoRA
von: Wang, Shangshang, et al.
Veröffentlicht: (2025)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
von: Wu, Yichao, et al.
Veröffentlicht: (2024)

AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality
von: Qing, Peijun, et al.
Veröffentlicht: (2024)