Buchumschlag

Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lang, Yicheng, Wang, Changsheng, Zhang, Yihua, Hong, Mingyi, Zhang, Zheng, Yin, Wotao, Liu, Sijia
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
von: Liu, Sijia, et al.
Veröffentlicht: (2026)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Subspace Control: Turning Constrained Model Steering into Controllable Spectral Optimization
von: Huang, Yancheng, et al.
Veröffentlicht: (2026)

DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training
von: Chen, Aochuan, et al.
Veröffentlicht: (2023)

Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning
von: Lang, Yicheng, et al.
Veröffentlicht: (2025)

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration
von: Chen, Jiahe, et al.
Veröffentlicht: (2026)

The Power of Few: Accelerating and Enhancing Data Reweighting with Coreset Selection
von: Jafari, Mohammad, et al.
Veröffentlicht: (2024)

Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation
von: Ma, Xinge, et al.
Veröffentlicht: (2025)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

Towards LLM Unlearning Resilient to Relearning Attacks: A Sharpness-Aware Minimization Perspective and Beyond
von: Fan, Chongyu, et al.
Veröffentlicht: (2025)

Gradient Deconfliction via Orthogonal Projections onto Subspaces For Multi-task Learning
von: Zhu, Shijie, et al.
Veröffentlicht: (2025)

SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
von: Jia, Jinghan, et al.
Veröffentlicht: (2024)

Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale
von: Park, Sihwan, et al.
Veröffentlicht: (2025)

Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
von: Legate, Gwen, et al.
Veröffentlicht: (2025)

CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling
von: Zhang, Kaiyuan, et al.
Veröffentlicht: (2025)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

Perturbations in the Orthogonal Complement Subspace for Efficient Out-of-Distribution Detection
von: Huang, Zhexiao, et al.
Veröffentlicht: (2025)

Efficient Federated RLHF via Zeroth-Order Policy Optimization
von: Wang, Deyi, et al.
Veröffentlicht: (2026)

Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity
von: de Vazelhes, William, et al.
Veröffentlicht: (2022)

SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation
von: Fan, Chongyu, et al.
Veröffentlicht: (2023)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
von: Feng, Jian, et al.
Veröffentlicht: (2026)

Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
von: Zhang, Qining, et al.
Veröffentlicht: (2024)

LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data
von: Wang, Changsheng, et al.
Veröffentlicht: (2025)

LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM
von: Refael, Yehonathan, et al.
Veröffentlicht: (2025)

On the Inherent Privacy of Zeroth Order Projected Gradient Descent
von: Gupta, Devansh, et al.
Veröffentlicht: (2025)

The Multi-Query Paradox in Zeroth-Order Optimization
von: Lin, Wei, et al.
Veröffentlicht: (2025)

EPiC: Towards Lossless Speedup for Reasoning Training through Edge-Preserving CoT Condensation
von: Jia, Jinghan, et al.
Veröffentlicht: (2025)

ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization
von: Zhang, Ronghao, et al.
Veröffentlicht: (2026)

Expressive Power of Graph Neural Networks for (Mixed-Integer) Quadratic Programs
von: Chen, Ziang, et al.
Veröffentlicht: (2024)

Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms
von: Gu, Bin, et al.
Veröffentlicht: (2024)

Expressive Power of Implicit Models: Rich Equilibria and Test-Time Scaling
von: Liu, Jialin, et al.
Veröffentlicht: (2025)

Dimensional Peeking for Low-Variance Gradients in Zeroth-Order Discrete Optimization via Simulation
von: Andelfinger, Philipp, et al.
Veröffentlicht: (2026)

Towards Fast LLM Fine-tuning through Zeroth-Order Optimization with Projected Gradient-Aligned Perturbations
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Gradient Compressed Sensing: A Query-Efficient Gradient Estimator for High-Dimensional Zeroth-Order Optimization
von: Qiu, Ruizhong, et al.
Veröffentlicht: (2024)

Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
von: Zhang, Xiyang, et al.
Veröffentlicht: (2026)

Neural Ising Machines via Unrolling and Zeroth-Order Training
von: Reifenstein, Sam, et al.
Veröffentlicht: (2026)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

MuonBP: Faster Muon via Block-Periodic Orthogonalization
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills
von: Wang, Changsheng, et al.
Veröffentlicht: (2025)