Buchumschlag

Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Jing, Zhang, Jingzhao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Parameter Efficient Fine-tuning via Explained Variance Adaptation
von: Paischer, Fabian, et al.
Veröffentlicht: (2024)

Increasing Model Capacity for Free: A Simple Strategy for Parameter Efficient Fine-tuning
von: Song, Haobo, et al.
Veröffentlicht: (2024)

AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning
von: Song, Yurun, et al.
Veröffentlicht: (2025)

KS-Lottery: Finding Certified Lottery Tickets for Multilingual Language Models
von: Yuan, Fei, et al.
Veröffentlicht: (2024)

Explain Less, Understand More: Jargon Detection via Personalized Parameter-Efficient Fine-tuning
von: Wu, Bohao, et al.
Veröffentlicht: (2025)

Efficient Model Development through Fine-tuning Transfer
von: Lin, Pin-Jie, et al.
Veröffentlicht: (2025)

DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
von: Shi, Zhengxiang, et al.
Veröffentlicht: (2023)

Parameter-Efficient Fine-Tuning for Foundation Models
von: Zhang, Dan, et al.
Veröffentlicht: (2025)

Fine-tuning can Help Detect Pretraining Data from Large Language Models
von: Zhang, Hengxiang, et al.
Veröffentlicht: (2024)

Efficient End-to-end Language Model Fine-tuning on Graphs
von: Xue, Rui, et al.
Veröffentlicht: (2023)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
von: Ma, Xinyu, et al.
Veröffentlicht: (2024)

Exploring Memorization in Fine-tuned Language Models
von: Zeng, Shenglai, et al.
Veröffentlicht: (2023)

Information Guided Regularization for Fine-tuning Language Models
von: Sharma, Mandar, et al.
Veröffentlicht: (2024)

Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models
von: Peng, Zhiyuan, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
von: Gao, Ziqi, et al.
Veröffentlicht: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
von: Lingam, Vijay, et al.
Veröffentlicht: (2024)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
von: Zhang, Zhi, et al.
Veröffentlicht: (2025)

Mechanistic Fine-tuning for In-context Learning
von: Cho, Hakaze, et al.
Veröffentlicht: (2025)

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
von: Chen, Yukang, et al.
Veröffentlicht: (2023)

Fine-tuning Language Models with Generative Adversarial Reward Modelling
von: Yu, Zhang Ze, et al.
Veröffentlicht: (2023)

Boosting Large Language Models with Mask Fine-Tuning
von: Zhang, Mingyuan, et al.
Veröffentlicht: (2025)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
von: Hameed, Marawan Gamal Abdel, et al.
Veröffentlicht: (2024)

Data Mixing Can Induce Phase Transitions in Knowledge Acquisition
von: Gu, Xinran, et al.
Veröffentlicht: (2025)

Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications
von: Balne, Charith Chandra Sai, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
von: Wang, Luping, et al.
Veröffentlicht: (2024)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
von: Pathak, Harsh Nilesh, et al.
Veröffentlicht: (2025)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
von: Zhou, Han, et al.
Veröffentlicht: (2023)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
von: Zhang, Zheng, et al.
Veröffentlicht: (2024)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition
von: Yan, Yuxuan, et al.
Veröffentlicht: (2024)

Mini-Giants: "Small" Language Models and Open Source Win-Win
von: Zhou, Zhengping, et al.
Veröffentlicht: (2023)

Outlier-weighed Layerwise Sampling for LLM Fine-tuning
von: Li, Pengxiang, et al.
Veröffentlicht: (2024)

Obliviate: Neutralizing Task-agnostic Backdoors within the Parameter-efficient Fine-tuning Paradigm
von: Kim, Jaehan, et al.
Veröffentlicht: (2024)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
von: Nikdan, Mahdi, et al.
Veröffentlicht: (2024)

$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge
von: Park, Core Francisco, et al.
Veröffentlicht: (2025)

Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
von: Wang, Ruoyu, et al.
Veröffentlicht: (2024)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning
von: Goru, Ritesh, et al.
Veröffentlicht: (2025)

Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
von: Du, Guodong, et al.
Veröffentlicht: (2025)