Copertina

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Nikdan, Mahdi, Tabesh, Soroush, Crnčević, Elvir, Alistarh, Dan
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models
di: Pan, Dayan, et al.
Pubblicazione: (2025)

GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling
di: Dadgarnia, Alireza, et al.
Pubblicazione: (2026)

ECO: Quantized Training without Full-Precision Master Weights
di: Nikdan, Mahdi, et al.
Pubblicazione: (2026)

MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization
di: Kleinegger, Maximilian, et al.
Pubblicazione: (2026)

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
di: Modoranu, Ionut-Vlad, et al.
Pubblicazione: (2026)

Efficient Data Selection at Scale via Influence Distillation
di: Nikdan, Mahdi, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning for Foundation Models
di: Zhang, Dan, et al.
Pubblicazione: (2025)

Panza: Design and Analysis of a Fully-Local Personalized Text Writing Assistant
di: Nicolicioiu, Armand, et al.
Pubblicazione: (2024)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
di: Liu, Yilun, et al.
Pubblicazione: (2025)

Parameter Efficient Fine-tuning via Explained Variance Adaptation
di: Paischer, Fabian, et al.
Pubblicazione: (2024)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
di: Ma, Xinyu, et al.
Pubblicazione: (2024)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform
di: Gao, Ziqi, et al.
Pubblicazione: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
di: Lingam, Vijay, et al.
Pubblicazione: (2024)

QuEST: Stable Training of LLMs with 1-Bit Weights and Activations
di: Panferov, Andrei, et al.
Pubblicazione: (2025)

HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs
di: Ashkboos, Saleh, et al.
Pubblicazione: (2025)

Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications
di: Balne, Charith Chandra Sai, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
di: Pathak, Harsh Nilesh, et al.
Pubblicazione: (2025)

AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
di: Zhou, Han, et al.
Pubblicazione: (2023)

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
di: Zhang, Zhi, et al.
Pubblicazione: (2025)

Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
di: Wang, Ruoyu, et al.
Pubblicazione: (2024)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
di: Wang, Tuowei, et al.
Pubblicazione: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
di: Ju, Yiming, et al.
Pubblicazione: (2024)

X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
di: Kwak, Namju, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of LLMs with Mixture of Space Experts
di: Zhang, Buze, et al.
Pubblicazione: (2026)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
di: Yang, Yifan, et al.
Pubblicazione: (2024)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
di: Chang, Aofei, et al.
Pubblicazione: (2024)

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
di: Azizi, Seyedarmin, et al.
Pubblicazione: (2024)

Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning
di: Khadangi, Afshin, et al.
Pubblicazione: (2025)

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation
di: Panferov, Andrei, et al.
Pubblicazione: (2026)

Accurate Prediction of Ligand-Protein Interaction Affinities with Fine-Tuned Small Language Models
di: Fauber, Ben
Pubblicazione: (2024)

Parameter Efficient Instruction Tuning: An Empirical Study
di: He, Pengfei
Pubblicazione: (2024)

Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
di: Ban, Hao, et al.
Pubblicazione: (2025)

Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
di: Du, Guodong, et al.
Pubblicazione: (2025)

DARE the Extreme: Revisiting Delta-Parameter Pruning For Fine-Tuned Models
di: Deng, Wenlong, et al.
Pubblicazione: (2024)

MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba
di: Yoshimura, Masakazu, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection
di: Islam, Akif, et al.
Pubblicazione: (2025)