Copertina

AdaFish: Fast low-rank parameter-efficient fine-tuning by using second-order information

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Hu, Jiang, Li, Quanzheng
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

AdaFisher: Adaptive Second Order Optimization via Fisher Information
di: Gomes, Damien Martins, et al.
Pubblicazione: (2024)

Adaptive parameter-efficient fine-tuning via Hessian-informed subset selection
di: Xu, Shiyun, et al.
Pubblicazione: (2025)

Quantum-PEFT: Ultra parameter-efficient fine-tuning
di: Koike-Akino, Toshiaki, et al.
Pubblicazione: (2025)

Gradient dynamics for low-rank fine-tuning beyond kernels
di: Dayi, Arif Kerem, et al.
Pubblicazione: (2024)

AdaGradSelect: An adaptive gradient-guided layer selection method for efficient fine-tuning of SLMs
di: Kumar, Anshul, et al.
Pubblicazione: (2025)

LayerNorm: A key component in parameter-efficient fine-tuning
di: ValizadehAslani, Taha, et al.
Pubblicazione: (2024)

GeoLoRA: Geometric integration for parameter efficient fine-tuning
di: Schotthöfer, Steffen, et al.
Pubblicazione: (2024)

SLTrain: a sparse plus low-rank approach for parameter and memory efficient pretraining
di: Han, Andi, et al.
Pubblicazione: (2024)

Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models
di: Ma, Olivia, et al.
Pubblicazione: (2024)

LIFT: Interpretable truck driving risk prediction with literature-informed fine-tuned LLMs
di: Hu, Xiao, et al.
Pubblicazione: (2025)

Out-of-distribution materials property prediction using adversarial learning based fine-tuning
di: Li, Qinyang, et al.
Pubblicazione: (2024)

FLoRA: Fused forward-backward adapters for parameter efficient fine-tuning and reducing inference-time latencies of LLMs
di: Gowda, Dhananjaya, et al.
Pubblicazione: (2025)

Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures
di: Chen, Yiming, et al.
Pubblicazione: (2024)

LLMs for energy and macronutrients estimation using only text data from 24-hour dietary recalls: a parameter-efficient fine-tuning experiment using a 10-shot prompt
di: Carrillo-Larco, Rodrigo M
Pubblicazione: (2025)

Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning
di: Tan, Qitao, et al.
Pubblicazione: (2025)

Learning from models beyond fine-tuning
di: Zheng, Hongling, et al.
Pubblicazione: (2023)

Multi-task retriever fine-tuning for domain-specific and efficient RAG
di: Béchard, Patrice, et al.
Pubblicazione: (2025)

Train on Validation (ToV): Fast data selection with applications to fine-tuning
di: Jain, Ayush, et al.
Pubblicazione: (2025)

Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning
di: Vanlioglu, Abdullah
Pubblicazione: (2025)

AdaRank: Disagreement Based Module Rank Prediction for Low-rank Adaptation
di: Dong, Yihe
Pubblicazione: (2024)

PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization
di: Ni, Yao, et al.
Pubblicazione: (2024)

Reliable and efficient inverse analysis using physics-informed neural networks with normalized distance functions and adaptive weight tuning
di: Deguchi, Shota, et al.
Pubblicazione: (2025)

Complexity-aware fine-tuning
di: Goncharov, Andrey, et al.
Pubblicazione: (2025)

LLMStinger: Jailbreaking LLMs using RL fine-tuned LLMs
di: Jha, Piyush, et al.
Pubblicazione: (2024)

Domain Adaptation for Time series Transformers using One-step fine-tuning
di: Khanal, Subina, et al.
Pubblicazione: (2024)

Does fine-tuning GPT-3 with the OpenAI API leak personally-identifiable information?
di: Sun, Albert Yu, et al.
Pubblicazione: (2023)

Physics-informed fine-tuning of foundation models for partial differential equations
di: Medvedev, Vlad, et al.
Pubblicazione: (2026)

Sampling from Boltzmann densities with physics informed low-rank formats
di: Hagemann, Paul, et al.
Pubblicazione: (2024)

ARMAX identification of low rank graphical models
di: Cao, Wenqi, et al.
Pubblicazione: (2025)

Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks
di: Jain, Samyak, et al.
Pubblicazione: (2023)

Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
di: Balabanov, Oleksandr, et al.
Pubblicazione: (2024)

$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points
di: Guan, Jiewen, et al.
Pubblicazione: (2024)

Jal Anveshak: Prediction of fishing zones using fine-tuned LlaMa 2
di: Mejari, Arnav, et al.
Pubblicazione: (2024)

Rethinking Reinforcement fine-tuning of LLMs: A Multi-armed Bandit Learning Perspective
di: Hu, Xiao, et al.
Pubblicazione: (2026)

Multi-frequency wavefield solutions for variable velocity models using meta-learning enhanced low-rank physics-informed neural network
di: Cheng, Shijun, et al.
Pubblicazione: (2025)

Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning
di: Barceló, Roberto, et al.
Pubblicazione: (2024)

ReALLM: A general framework for LLM compression and fine-tuning
di: Leconte, Louis, et al.
Pubblicazione: (2024)

Empirical influence functions to understand the logic of fine-tuning
di: Matelsky, Jordan K., et al.
Pubblicazione: (2024)

Replaying pre-training data improves fine-tuning
di: Kotha, Suhas, et al.
Pubblicazione: (2026)

On fine-tuning Boltz-2 for protein-protein affinity prediction
di: King, James, et al.
Pubblicazione: (2025)