Copertina

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Hameed, Marawan Gamal Abdel, Milios, Aristides, Reddy, Siva, Rabusseau, Guillaume
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Efficient Probabilistic Tensor Networks
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2025)

A Tensor Decomposition Perspective on Second-order RNNs
di: Lizaire, Maude, et al.
Pubblicazione: (2024)

Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study
di: Ponkshe, Kaustubh, et al.
Pubblicazione: (2025)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
di: Nikdan, Mahdi, et al.
Pubblicazione: (2024)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
di: Liu, Yilun, et al.
Pubblicazione: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

Are self-explanations from Large Language Models faithful?
di: Madsen, Andreas, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Foundation Models
di: Zhang, Dan, et al.
Pubblicazione: (2025)

Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
di: Kabra, Sanchit, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
di: Gao, Ziqi, et al.
Pubblicazione: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
di: Lingam, Vijay, et al.
Pubblicazione: (2024)

Model Merging via Data-Free Covariance Estimation
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2026)

Parameter Efficient Fine-tuning via Explained Variance Adaptation
di: Paischer, Fabian, et al.
Pubblicazione: (2024)

Crafting Efficient Fine-Tuning Strategies for Large Language Models
di: Oliver, Michael, et al.
Pubblicazione: (2024)

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models
di: Singhal, Raghav, et al.
Pubblicazione: (2025)

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
di: Azizi, Seyedarmin, et al.
Pubblicazione: (2024)

CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning
di: Ge, Jingze, et al.
Pubblicazione: (2026)

Assessing the Macro and Micro Effects of Random Seeds on Fine-Tuning Large Language Models
di: Bui, Nghia, et al.
Pubblicazione: (2025)

Fine-Tuning and Evaluating Conversational AI for Agricultural Advisory
di: Singh, Sanyam, et al.
Pubblicazione: (2026)

SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs
di: Jayasuriya, Dinithi, et al.
Pubblicazione: (2025)

Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications
di: Balne, Charith Chandra Sai, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
di: Ma, Xinyu, et al.
Pubblicazione: (2024)

Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models
di: Arteaga, Gabriel Y., et al.
Pubblicazione: (2024)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
di: Pathak, Harsh Nilesh, et al.
Pubblicazione: (2025)

Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning
di: Khadangi, Afshin, et al.
Pubblicazione: (2025)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
di: Zhou, Han, et al.
Pubblicazione: (2023)

Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
di: Wang, Dianyun, et al.
Pubblicazione: (2025)

Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning
di: Xu, Jing, et al.
Pubblicazione: (2024)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
di: Zhang, Zhi, et al.
Pubblicazione: (2025)

BEFT: Bias-Efficient Fine-Tuning of Language Models in Low-Data Regimes
di: Huang, Baichuan, et al.
Pubblicazione: (2025)

ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning
di: Chang, Huandong, et al.
Pubblicazione: (2025)

Proximal Supervised Fine-Tuning
di: Zhu, Wenhong, et al.
Pubblicazione: (2025)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
di: Xiao, Xiaojun, et al.
Pubblicazione: (2024)

Memory-Efficient LLM Training with Online Subspace Descent
di: Liang, Kaizhao, et al.
Pubblicazione: (2024)

Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
di: Wang, Ruoyu, et al.
Pubblicazione: (2024)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
di: Kong, Lingxiao, et al.
Pubblicazione: (2025)

An Efficient Sparse Fine-Tuning with Low Quantization Error via Neural Network Pruning
di: Li, Cen-Jhih, et al.
Pubblicazione: (2025)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
di: Wang, Tuowei, et al.
Pubblicazione: (2025)