Copertina

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ma, Xinyu, Chu, Xu, Yang, Zhibang, Lin, Yang, Gao, Xin, Zhao, Junfeng
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

DRESSing Up LLM: Efficient Stylized Question-Answering via Style Subspace Editing
di: Ma, Xinyu, et al.
Pubblicazione: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
di: Gao, Ziqi, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Foundation Models
di: Zhang, Dan, et al.
Pubblicazione: (2025)

Selection of LLM Fine-Tuning Data based on Orthogonal Rules
di: Li, Xiaomin, et al.
Pubblicazione: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
di: Lingam, Vijay, et al.
Pubblicazione: (2024)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
di: Nikdan, Mahdi, et al.
Pubblicazione: (2024)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
di: Wang, Tuowei, et al.
Pubblicazione: (2025)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
di: Liu, Yilun, et al.
Pubblicazione: (2025)

LoRA Dropout as a Sparsity Regularizer for Overfitting Control
di: Lin, Yang, et al.
Pubblicazione: (2024)

Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
di: Ju, Yiming, et al.
Pubblicazione: (2024)

Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications
di: Balne, Charith Chandra Sai, et al.
Pubblicazione: (2024)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
di: Pathak, Harsh Nilesh, et al.
Pubblicazione: (2025)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
di: Zhou, Han, et al.
Pubblicazione: (2023)

Parameter-Efficient Fine-Tuning of LLMs with Mixture of Space Experts
di: Zhang, Buze, et al.
Pubblicazione: (2026)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
di: Chang, Aofei, et al.
Pubblicazione: (2024)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
di: Zhang, Zhi, et al.
Pubblicazione: (2025)

Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
di: Wang, Xinyu, et al.
Pubblicazione: (2026)

Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
di: Wang, Ruoyu, et al.
Pubblicazione: (2024)

DARE the Extreme: Revisiting Delta-Parameter Pruning For Fine-Tuned Models
di: Deng, Wenlong, et al.
Pubblicazione: (2024)

Increasing Model Capacity for Free: A Simple Strategy for Parameter Efficient Fine-tuning
di: Song, Haobo, et al.
Pubblicazione: (2024)

ClusterUCB: Efficient Gradient-Based Data Selection for Targeted Fine-Tuning of LLMs
di: Wang, Zige, et al.
Pubblicazione: (2025)

Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning
di: Ren, Weijieying, et al.
Pubblicazione: (2024)

X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
di: Kwak, Namju, et al.
Pubblicazione: (2024)

Parameter Efficient Fine-tuning via Explained Variance Adaptation
di: Paischer, Fabian, et al.
Pubblicazione: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
di: Liu, Yong, et al.
Pubblicazione: (2024)

Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification
di: Li, Ming, et al.
Pubblicazione: (2024)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning
di: Xu, Jing, et al.
Pubblicazione: (2024)

Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning
di: Khadangi, Afshin, et al.
Pubblicazione: (2025)

DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
di: Gao, Chao, et al.
Pubblicazione: (2024)

AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning
di: Song, Yurun, et al.
Pubblicazione: (2025)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
di: Yang, Yifan, et al.
Pubblicazione: (2024)

Parameter Efficient Instruction Tuning: An Empirical Study
di: He, Pengfei
Pubblicazione: (2024)

EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
di: Kong, Lingxiao, et al.
Pubblicazione: (2025)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
di: Ban, Hao, et al.
Pubblicazione: (2025)

Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
di: Du, Guodong, et al.
Pubblicazione: (2025)

Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
di: Diao, Muxi, et al.
Pubblicazione: (2026)

GPT vs RETRO: Exploring the Intersection of Retrieval and Parameter-Efficient Fine-Tuning
di: Ficek, Aleksander, et al.
Pubblicazione: (2024)