Buchumschlag

FISH-Tuning: Enhancing PEFT Methods with Fisher Information

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xue, Kang, Dong, Ming, Tu, Xinhui, He, Tingting
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DSCD: Large Language Model Detoxification with Self-Constrained Decoding
von: Dong, Ming, et al.
Veröffentlicht: (2025)

PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark
von: Belanec, Robert, et al.
Veröffentlicht: (2025)

Targeted Efficient Fine-tuning: Optimizing Parameter Updates with Data-Driven Sample Selection
von: Dong, Ming, et al.
Veröffentlicht: (2024)

ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning
von: Li, Xianming, et al.
Veröffentlicht: (2026)

PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization
von: Clarke, Christopher, et al.
Veröffentlicht: (2024)

Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning
von: Gu, Naibin, et al.
Veröffentlicht: (2024)

PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models
von: Belanec, Robert, et al.
Veröffentlicht: (2025)

TS-PEFT: Unveiling Token-Level Redundancy in Parameter-Efficient Fine-Tuning
von: Ma, Dabiao, et al.
Veröffentlicht: (2025)

MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba
von: Yoshimura, Masakazu, et al.
Veröffentlicht: (2024)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
von: Zhou, Han, et al.
Veröffentlicht: (2023)

Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
von: Patwa, Parth, et al.
Veröffentlicht: (2024)

Rich Semantic Knowledge Enhanced Large Language Models for Few-shot Chinese Spell Checking
von: Dong, Ming, et al.
Veröffentlicht: (2024)

Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning
von: Khade, Omkar, et al.
Veröffentlicht: (2024)

How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters
von: Oji, Romina, et al.
Veröffentlicht: (2025)

PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models
von: Prottasha, Nusrat Jahan, et al.
Veröffentlicht: (2025)

X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
von: Kwak, Namju, et al.
Veröffentlicht: (2024)

Hybrid and Unitary PEFT for Resource-Efficient Large Language Models
von: Qi, Haomin, et al.
Veröffentlicht: (2025)

PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective
von: Huang, Yangyi, et al.
Veröffentlicht: (2026)

Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information
von: Jiang, Ming, et al.
Veröffentlicht: (2024)

FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information
von: Gul, Shreen, et al.
Veröffentlicht: (2024)

Train More Parameters But Mind Their Placement: Insights into Language Adaptation with PEFT
von: Kunz, Jenny
Veröffentlicht: (2024)

FisherSFT: Data-Efficient Supervised Fine-Tuning of Language Models Using Information Gain
von: Deb, Rohan, et al.
Veröffentlicht: (2025)

On the Robustness of Knowledge Editing for Detoxification
von: Dong, Ming, et al.
Veröffentlicht: (2026)

On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
von: Lab, Mind, et al.
Veröffentlicht: (2026)

FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
von: Flynn, Noah
Veröffentlicht: (2026)

The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models
von: Ji, Ke, et al.
Veröffentlicht: (2025)

Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation
von: Lorandi, Michela, et al.
Veröffentlicht: (2026)

From Text to Emoji: How PEFT-Driven Personality Manipulation Unleashes the Emoji Potential in LLMs
von: Jain, Navya, et al.
Veröffentlicht: (2024)

FedP$^2$EFT: Federated Learning to Personalize PEFT for Multilingual LLMs
von: Lee, Royson, et al.
Veröffentlicht: (2025)

PEFT for Speech: Unveiling Optimal Placement, Merging Strategies, and Ensemble Techniques
von: Lin, Tzu-Han, et al.
Veröffentlicht: (2024)

Monkey Jump : MoE-Style PEFT for Efficient Multi-Task Learning
von: Prottasha, Nusrat Jahan, et al.
Veröffentlicht: (2026)

One Subgraph for All: Efficient Reasoning on Opening Subgraphs for Inductive Knowledge Graph Completion
von: Xie, Zhiwen, et al.
Veröffentlicht: (2024)

Enhancing LLM-Based Short Answer Grading with Retrieval-Augmented Generation
von: Chu, Yucheng, et al.
Veröffentlicht: (2025)

ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization
von: Yadav, Prateek, et al.
Veröffentlicht: (2023)

LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models
von: Zhang, Jia-Chen, et al.
Veröffentlicht: (2024)

Rethinking Data Selection for Supervised Fine-Tuning
von: Shen, Ming
Veröffentlicht: (2024)

Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
von: Venkatesha, Yeshwanth, et al.
Veröffentlicht: (2025)

Swift Cross-Dataset Pruning: Enhancing Fine-Tuning Efficiency in Natural Language Understanding
von: Nguyen, Binh-Nguyen, et al.
Veröffentlicht: (2025)

Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models
von: Gong, Ming, et al.
Veröffentlicht: (2025)