Buchumschlag

Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Park, Sihwan, Yun, Jihun, Kim, SungYub, Kundu, Souvik, Yang, Eunho
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LANTERN: Accelerating Visual Autoregressive Models with Relaxed Speculative Decoding
von: Jang, Doohyuk, et al.
Veröffentlicht: (2024)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

LANTERN++: Enhancing Relaxed Speculative Decoding with Static Tree Drafting for Visual Auto-regressive Models
von: Park, Sihwan, et al.
Veröffentlicht: (2025)

TEDDY: Trimming Edges with Degree-based Discrimination strategY
von: Seo, Hyunjin, et al.
Veröffentlicht: (2024)

A Simple Remedy for Dataset Bias via Self-Influence: A Mislabeled Sample Perspective
von: Jung, Yeonsung, et al.
Veröffentlicht: (2024)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization
von: Lang, Yicheng, et al.
Veröffentlicht: (2026)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
von: Feng, Jian, et al.
Veröffentlicht: (2026)

Perturbation-efficient Zeroth-order Optimization for Hardware-friendly On-device Training
von: Tan, Qitao, et al.
Veröffentlicht: (2025)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization is Secretly Single-Step Policy Optimization
von: Qiu, Junbin, et al.
Veröffentlicht: (2025)

Towards Fast LLM Fine-tuning through Zeroth-Order Optimization with Projected Gradient-Aligned Perturbations
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training
von: Chen, Aochuan, et al.
Veröffentlicht: (2023)

Private Zeroth-Order Optimization with Public Data
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

The Multi-Query Paradox in Zeroth-Order Optimization
von: Lin, Wei, et al.
Veröffentlicht: (2025)

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective
von: Li, Zhe, et al.
Veröffentlicht: (2026)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization at the Edge of Stability
von: Song, Minhak, et al.
Veröffentlicht: (2026)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
von: Liu, Sijia, et al.
Veröffentlicht: (2026)

Efficient Federated RLHF via Zeroth-Order Policy Optimization
von: Wang, Deyi, et al.
Veröffentlicht: (2026)

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization
von: Shu, Yao, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

Certified Multi-Fidelity Zeroth-Order Optimization
von: de Montbrun, Étienne, et al.
Veröffentlicht: (2023)

Private Zeroth-Order Nonsmooth Nonconvex Optimization
von: Zhang, Qinzi, et al.
Veröffentlicht: (2024)

Improving the Straight-Through Estimator with Zeroth-Order Information
von: Yang, Ningfeng, et al.
Veröffentlicht: (2025)

Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States
von: Chien, Eli, et al.
Veröffentlicht: (2025)

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning
von: Seung, Hyunseok, et al.
Veröffentlicht: (2025)

Coverage Improvement and Fast Convergence of On-policy Preference Learning
von: Kim, Juno, et al.
Veröffentlicht: (2026)

Active Subspaces in Infinite Dimension
von: Kundu, Poorbita, et al.
Veröffentlicht: (2025)

Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
von: Chen, Ziyi, et al.
Veröffentlicht: (2025)

Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory
von: Shu, Yao, et al.
Veröffentlicht: (2026)

A New Formulation for Zeroth-Order Optimization of Adversarial EXEmples in Malware Detection
von: Rando, Marco, et al.
Veröffentlicht: (2024)

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration
von: Chen, Jiahe, et al.
Veröffentlicht: (2026)

Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling
von: Wang, Fei, et al.
Veröffentlicht: (2026)

Second-Order Fine-Tuning without Pain for LLMs:A Hessian Informed Zeroth-Order Optimizer
von: Zhao, Yanjun, et al.
Veröffentlicht: (2024)

Beyond RLHF: A Unified Theoretical Framework of Alignment
von: Yun, Jihun, et al.
Veröffentlicht: (2025)

FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
von: Dang, Sizhe, et al.
Veröffentlicht: (2025)