Buchumschlag

ElasticZO: A Memory-Efficient On-Device Learning with Combined Zeroth- and First-Order Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sugiura, Keisuke, Matsutani, Hiroki
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

InstantFT: An FPGA-Based Runtime Subsecond Fine-tuning of CNN Models
von: Sugiura, Keisuke, et al.
Veröffentlicht: (2025)

A Cost-Efficient FPGA Implementation of Tiny Transformer Model using Neural ODE
von: Okubo, Ikumi, et al.
Veröffentlicht: (2024)

PointODE: Lightweight Point Cloud Learning with Neural Ordinary Differential Equations on Edge
von: Sugiura, Keisuke, et al.
Veröffentlicht: (2025)

An FPGA-Based Accelerator for Graph Embedding using Sequential Training Algorithm
von: Sunaga, Kazuki, et al.
Veröffentlicht: (2023)

Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
von: Matsutani, Hiroki, et al.
Veröffentlicht: (2026)

CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
von: Wang, Shuo, et al.
Veröffentlicht: (2026)

DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs
von: Sun, Yan, et al.
Veröffentlicht: (2025)

ZO2: Scalable Zeroth-Order Fine-Tuning for Extremely Large Language Models with Limited GPU Memory
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
von: Zhou, Jiajun, et al.
Veröffentlicht: (2025)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
von: Zhang, Zhen, et al.
Veröffentlicht: (2025)

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
von: Cai, Zhijie, et al.
Veröffentlicht: (2026)

FPGA-Accelerated Correspondence-free Point Cloud Registration with PointNet Features
von: Sugiura, Keisuke, et al.
Veröffentlicht: (2024)

When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices
von: Zhang, Pengyu, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

ZO-DARTS++: An Efficient and Size-Variable Zeroth-Order Neural Architecture Search Algorithm
von: Xie, Lunchen, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

A Tiny Supervised ODL Core with Auto Data Pruning for Human Activity Recognition
von: Matsutani, Hiroki, et al.
Veröffentlicht: (2024)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
von: Chen, Ziye, et al.
Veröffentlicht: (2026)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Efficient Federated RLHF via Zeroth-Order Policy Optimization
von: Wang, Deyi, et al.
Veröffentlicht: (2026)

ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
von: Ji, Jie, et al.
Veröffentlicht: (2026)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

Learning Dynamics of Zeroth-Order Optimization: A Kernel Perspective
von: Li, Zhe, et al.
Veröffentlicht: (2026)

Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices
von: Matsutani, Hiroki, et al.
Veröffentlicht: (2024)

On Adaptivity in Zeroth-Order Optimization
von: Dbouk, Hassan, et al.
Veröffentlicht: (2026)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs
von: Zhang, Kairun, et al.
Veröffentlicht: (2025)

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
von: Liu, Sijia, et al.
Veröffentlicht: (2026)

More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning
von: Yu, Wanhao, et al.
Veröffentlicht: (2025)

Private Zeroth-Order Optimization with Public Data
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

The Multi-Query Paradox in Zeroth-Order Optimization
von: Lin, Wei, et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization is Secretly Single-Step Policy Optimization
von: Qiu, Junbin, et al.
Veröffentlicht: (2025)

Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence
von: Ansaripour, Matin, et al.
Veröffentlicht: (2022)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
von: Nazari, Parvin, et al.
Veröffentlicht: (2025)

Zeroth-Order Optimization at the Edge of Stability
von: Song, Minhak, et al.
Veröffentlicht: (2026)

Ancestral Reinforcement Learning: Unifying Zeroth-Order Optimization and Genetic Algorithms for Reinforcement Learning
von: Nakashima, So, et al.
Veröffentlicht: (2024)

Gradient Compressed Sensing: A Query-Efficient Gradient Estimator for High-Dimensional Zeroth-Order Optimization
von: Qiu, Ruizhong, et al.
Veröffentlicht: (2024)

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning
von: Wu, Chenlin, et al.
Veröffentlicht: (2024)