Copertina

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Sun, Chengwei, Wei, Jiwei, Wu, Yujia, Shi, Yiming, He, Shiyuan, Ma, Zeyu, Xie, Ning, Yang, Yang
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning
di: Shi, Yiming, et al.
Pubblicazione: (2024)

DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion
di: Wu, Yujia, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark
di: Xin, Yi, et al.
Pubblicazione: (2024)

MM-R1: Unleashing the Power of Unified Multimodal Large Language Models for Personalized Image Generation
di: Liang, Qian, et al.
Pubblicazione: (2025)

Task-Aware Parameter-Efficient Fine-Tuning of Large Pre-Trained Models at the Edge
di: Hu, Senkang, et al.
Pubblicazione: (2025)

InfiMed-Foundation: Pioneering Advanced Multimodal Medical Models with Compute-Efficient Pre-Training and Multi-Stage Fine-Tuning
di: Zhu, Guanghao, et al.
Pubblicazione: (2025)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
di: Lingam, Vijay, et al.
Pubblicazione: (2024)

SALT: Parameter-Efficient Fine-Tuning via Singular Value Adaptation with Low-Rank Transformation
di: Elsayed, Abdelrahman, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey
di: Han, Zeyu, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning With Adapters
di: Chen, Keyu, et al.
Pubblicazione: (2024)

A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
di: Chai, Yidong, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

MASRA: MLLM-Assisted Semantic-Relational Consistent Alignment for Video Temporal Grounding
di: Ran, Ran, et al.
Pubblicazione: (2026)

Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models
di: Cao, Shilei, et al.
Pubblicazione: (2025)

Fine-Tuned LLMs Know They Don't Know: A Parameter-Efficient Approach to Recovering Honesty
di: Shi, Zeyu, et al.
Pubblicazione: (2025)

FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models
di: Ramesh, Hariharan, et al.
Pubblicazione: (2025)

Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning
di: Si, Chongjie, et al.
Pubblicazione: (2024)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
di: Ma, Xinyu, et al.
Pubblicazione: (2024)

InPK: Infusing Prior Knowledge into Prompt for Vision-Language Models
di: Zhou, Shuchang, et al.
Pubblicazione: (2025)

Privacy-Preserving Parameter-Efficient Fine-Tuning for Large Language Model Services
di: Li, Yansong, et al.
Pubblicazione: (2023)

Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations
di: Si, Chongjie, et al.
Pubblicazione: (2025)

Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models
di: Doering, Nigel, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of LLMs with Mixture of Space Experts
di: Zhang, Buze, et al.
Pubblicazione: (2026)

Efficient Adaptation of Pre-trained Vision Transformer underpinned by Approximately Orthogonal Fine-Tuning Strategy
di: Yang, Yiting, et al.
Pubblicazione: (2025)

User-Specific Dialogue Generation with User Profile-Aware Pre-Training Model and Parameter-Efficient Fine-Tuning
di: Otsuka, Atsushi, et al.
Pubblicazione: (2024)

GD-FPS: Growth-Driven Feedforward Parameter Selection for Efficient Fine-Tuning
di: Yang, Kenneth, et al.
Pubblicazione: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

SFPrompt: Communication-Efficient Split Federated Fine-Tuning for Large Pre-Trained Models over Resource-Limited Devices
di: Cao, Linxiao, et al.
Pubblicazione: (2024)

Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
di: Sun, Kaiser, et al.
Pubblicazione: (2024)

Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training
di: Lei, Xingliang, et al.
Pubblicazione: (2024)

Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning
di: Nakamoto, Mitsuhiko, et al.
Pubblicazione: (2023)

Meta-Learning Hyperparameters for Parameter Efficient Fine-Tuning
di: Tian, Zichen, et al.
Pubblicazione: (2026)

Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
di: Ju, Yiming, et al.
Pubblicazione: (2024)

Enhancing Cross-Modal Fine-Tuning with Gradually Intermediate Modality Generation
di: Cai, Lincan, et al.
Pubblicazione: (2024)

TS-PEFT: Unveiling Token-Level Redundancy in Parameter-Efficient Fine-Tuning
di: Ma, Dabiao, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning of Large Language Models via Deconvolution in Subspace
di: Zhang, Jia-Chen, et al.
Pubblicazione: (2025)

Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning
di: Hwang, Jaedong, et al.
Pubblicazione: (2024)

ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models
di: Xie, Jin, et al.
Pubblicazione: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

Parameter-Efficient Continual Fine-Tuning: A Survey
di: Coleman, Eric Nuertey, et al.
Pubblicazione: (2025)