Copertina

RandLoRA: Full-rank parameter-efficient fine-tuning of large models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Albert, Paul, Zhang, Frederic Z., Saratchandran, Hemanth, Rodriguez-Opazo, Cristian, Hengel, Anton van den, Abbasnejad, Ehsan
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence Computer Vision and Pattern Recognition
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product
di: Albert, Paul, et al.
Pubblicazione: (2025)

Knowledge Composition using Task Vectors with Learned Anisotropic Scaling
di: Zhang, Frederic Z., et al.
Pubblicazione: (2024)

Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling
di: Rodriguez-Opazo, Cristian, et al.
Pubblicazione: (2024)

Procedural Pretraining: Warming Up Language Models with Abstract Data
di: Jiang, Liangze, et al.
Pubblicazione: (2026)

Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
di: Shinnick, Zachary, et al.
Pubblicazione: (2025)

Mask the Target: A Plug-and-Play Regularizer Against LoRA Forgetting
di: Xu, Runze, et al.
Pubblicazione: (2026)

Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning
di: McDonnell, Mark D., et al.
Pubblicazione: (2024)

RanPAC: Random Projections and Pre-trained Models for Continual Learning
di: McDonnell, Mark D., et al.
Pubblicazione: (2023)

Frame-wise Conditioning Adaptation for Fine-Tuning Diffusion Models in Text-to-Video Prediction
di: Liu, Zheyuan, et al.
Pubblicazione: (2025)

InvariantStock: Learning Invariant Features for Mastering the Shifting Market
di: Cao, Haiyao, et al.
Pubblicazione: (2024)

Enhancing Transformers Through Conditioned Embedded Tokens
di: Saratchandran, Hemanth, et al.
Pubblicazione: (2025)

Efficient Learning With Sine-Activated Low-rank Matrices
di: Ji, Yiping, et al.
Pubblicazione: (2024)

Transformers Pretrained on Procedural Data Contain Modular Structures for Algorithmic Reasoning
di: Shinnick, Zachary, et al.
Pubblicazione: (2025)

SineLoRA$Δ$: Sine-Activated Delta Compression
di: Gordon, Cameron, et al.
Pubblicazione: (2025)

LoRA vs Full Fine-tuning: An Illusion of Equivalence
di: Shuttleworth, Reece, et al.
Pubblicazione: (2024)

Learning to Reason and Navigate: Parameter Efficient Action Planning with Large Language Models
di: Mohammadi, Bahram, et al.
Pubblicazione: (2025)

Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
di: Balabanov, Oleksandr, et al.
Pubblicazione: (2024)

SineProject: Machine Unlearning for Stable Vision Language Alignment
di: Garg, Arpit, et al.
Pubblicazione: (2025)

GeoLoRA: Geometric integration for parameter efficient fine-tuning
di: Schotthöfer, Steffen, et al.
Pubblicazione: (2024)

From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
di: Saratchandran, Hemanth, et al.
Pubblicazione: (2024)

Leaner Transformers: More Heads, Less Depth
di: Saratchandran, Hemanth, et al.
Pubblicazione: (2025)

Weight Conditioning for Smooth Optimization of Neural Networks
di: Saratchandran, Hemanth, et al.
Pubblicazione: (2024)

Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey
di: Abdullah, Abdulhady Abas, et al.
Pubblicazione: (2025)

Preconditioners for the Stochastic Training of Neural Fields
di: Chng, Shin-Fang, et al.
Pubblicazione: (2024)

LayerNorm: A key component in parameter-efficient fine-tuning
di: ValizadehAslani, Taha, et al.
Pubblicazione: (2024)

Structured Initialization for Vision Transformers
di: Zheng, Jianqiao, et al.
Pubblicazione: (2025)

LoRA-fine-tuned Large Vision Models for Automated Assessment of Post-SBRT Lung Injury
di: Bolhassani, M., et al.
Pubblicazione: (2025)

Preconditioned Attention: Enhancing Efficiency in Transformers
di: Saratchandran, Hemanth
Pubblicazione: (2026)

Tied-Lora: Enhancing parameter efficiency of LoRA with weight tying
di: Renduchintala, Adithya, et al.
Pubblicazione: (2023)

Data Denoising and Derivative Estimation for Data-Driven Modeling of Nonlinear Dynamical Systems
di: Yao, Jiaqi, et al.
Pubblicazione: (2025)

Always Skip Attention
di: Ji, Yiping, et al.
Pubblicazione: (2025)

RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS
di: Chen, Shuaijun, et al.
Pubblicazione: (2024)

EMLoC: Emulator-based Memory-efficient Fine-tuning with LoRA Correction
di: Lin, Hsi-Che, et al.
Pubblicazione: (2025)

Exploring parameter-efficient fine-tuning (PEFT) of billion-parameter vision models with QLoRA and DoRA: insights into generalization for limited-data image classification under a 98:1 test-to-train regime
di: Yang, Haiyu, et al.
Pubblicazione: (2026)

Invertible Neural Warp for NeRF
di: Chng, Shin-Fang, et al.
Pubblicazione: (2024)

Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors
di: Xia, Jiatong, et al.
Pubblicazione: (2026)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
di: Ran, Delong, et al.
Pubblicazione: (2025)

DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation
di: Bini, Massimo, et al.
Pubblicazione: (2025)

PETapter: Leveraging PET-style classification heads for modular few-shot parameter-efficient fine-tuning
di: Rieger, Jonas, et al.
Pubblicazione: (2024)

Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings
di: Yin, Wei, et al.
Pubblicazione: (2022)