Copertina

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Yu, Ziming, Zhou, Pan, Wang, Sike, Li, Jia, Tian, Mi, Huang, Hua
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
di: Guo, Wentao, et al.
Pubblicazione: (2024)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
di: Feng, Jian, et al.
Pubblicazione: (2026)

4-bit Shampoo for Memory-Efficient Network Training
di: Wang, Sike, et al.
Pubblicazione: (2024)

Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity
di: Ran, Yide, et al.
Pubblicazione: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
di: Zhou, Jiajun, et al.
Pubblicazione: (2025)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
di: Kim, Dongyoon, et al.
Pubblicazione: (2025)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
di: Long, Jikai, et al.
Pubblicazione: (2025)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
di: Gautam, Tanmay, et al.
Pubblicazione: (2024)

CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
di: Wang, Shuo, et al.
Pubblicazione: (2026)

ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
di: Hameed, Marawan Gamal Abdel, et al.
Pubblicazione: (2024)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
di: Zhang, Zhen, et al.
Pubblicazione: (2025)

FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
di: Dang, Sizhe, et al.
Pubblicazione: (2025)

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
di: Wan, Zhiyi, et al.
Pubblicazione: (2025)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
di: Liu, Yong, et al.
Pubblicazione: (2024)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
di: Chen, Ziye, et al.
Pubblicazione: (2026)

Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning
di: Tang, Zhenchao, et al.
Pubblicazione: (2025)

Understanding and Preserving Safety in Fine-Tuned LLMs
di: Zhang, Jiawen, et al.
Pubblicazione: (2026)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
di: Yang, Yifan, et al.
Pubblicazione: (2024)

ZorBA: Zeroth-order Federated Fine-tuning of LLMs with Heterogeneous Block Activation
di: Meng, Chuiyang, et al.
Pubblicazione: (2026)

Refining Adaptive Zeroth-Order Optimization at Ease
di: Shu, Yao, et al.
Pubblicazione: (2025)

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting
di: Li, Yuduo, et al.
Pubblicazione: (2026)

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
di: Cai, Zhijie, et al.
Pubblicazione: (2026)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
di: Ma, Shaocong, et al.
Pubblicazione: (2025)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
di: Zhang, Kairun, et al.
Pubblicazione: (2025)

Zeroth-Order Optimization Finds Flat Minima
di: Zhang, Liang, et al.
Pubblicazione: (2025)

ClusterUCB: Efficient Gradient-Based Data Selection for Targeted Fine-Tuning of LLMs
di: Wang, Zige, et al.
Pubblicazione: (2025)

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning
di: Wu, Chenlin, et al.
Pubblicazione: (2024)

HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization
di: Zhao, Huaqin, et al.
Pubblicazione: (2024)

Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
di: Farzin, Amir Ali, et al.
Pubblicazione: (2025)

Thompson Sampling via Fine-Tuning of LLMs
di: Menet, Nicolas, et al.
Pubblicazione: (2025)

Safety at One Shot: Patching Fine-Tuned LLMs with A Single Instance
di: Zhang, Jiawen, et al.
Pubblicazione: (2026)

Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study
di: Ponkshe, Kaustubh, et al.
Pubblicazione: (2025)

Order-Independence Without Fine Tuning
di: McIlroy-Young, Reid, et al.
Pubblicazione: (2024)

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
di: Ma, Shaocong, et al.
Pubblicazione: (2026)

ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood
di: Wang, Ruoyu, et al.
Pubblicazione: (2024)

Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
di: Legate, Gwen, et al.
Pubblicazione: (2025)

Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models
di: Mahla, Navyansh, et al.
Pubblicazione: (2024)

Zeroth-Order Actor-Critic: An Evolutionary Framework for Sequential Decision Problems
di: Lei, Yuheng, et al.
Pubblicazione: (2022)

DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning
di: Hu, Jucheng, et al.
Pubblicazione: (2025)

TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning
di: Lei, Qifeng, et al.
Pubblicazione: (2025)