Buchumschlag

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Katti, Prabodh, Sifaou, Houssem, Park, Sangwoo, Rajendran, Bipin, Simeone, Osvaldo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Stochastic Spiking Attention: Accelerating Attention with Stochastic Computing in Spiking Networks
von: Song, Zihang, et al.
Veröffentlicht: (2024)

Bayesian Inference on Binary Spiking Networks Leveraging Nanoscale Device Stochasticity
von: Katti, Prabodh, et al.
Veröffentlicht: (2023)

Multi-Fidelity Hybrid Reinforcement Learning via Information Gain Maximization
von: Sifaou, Houssem, et al.
Veröffentlicht: (2025)

Baseline Drift Tolerant Signal Encoding for ECG Classification with Deep Learning
von: Shea, Robert O, et al.
Veröffentlicht: (2024)

Xpikeformer: Hybrid Analog-Digital Hardware Acceleration for Spiking Transformers
von: Song, Zihang, et al.
Veröffentlicht: (2024)

Stochastic Quantum Spiking Neural Networks with Quantum Memory and Local Learning
von: Chen, Jiechen, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Semi-Supervised Learning via Cross-Prediction-Powered Inference for Wireless Systems
von: Sifaou, Houssem, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

Context-Aware Doubly-Robust Semi-Supervised Learning
von: Ruah, Clement, et al.
Veröffentlicht: (2025)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

How to Bridge the Sim-to-Real Gap in Digital Twin-Aided Telecommunication Networks
von: Ruah, Clement, et al.
Veröffentlicht: (2025)

Conservative and Risk-Aware Offline Multi-Agent Reinforcement Learning
von: Eldeeb, Eslam, et al.
Veröffentlicht: (2024)

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

On the Convergence of Zeroth-Order Federated Tuning for Large Language Models
von: Ling, Zhenqing, et al.
Veröffentlicht: (2024)

Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
von: Li, Zeman, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Bayesian Optimization with Formal Safety Guarantees via Online Conformal Prediction
von: Zhang, Yunchuan, et al.
Veröffentlicht: (2023)

Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees
von: Chen, Jiechen, et al.
Veröffentlicht: (2023)

Bayes2IMC: In-Memory Computing for Bayesian Binary Neural Networks
von: Katti, Prabodh, et al.
Veröffentlicht: (2024)

Quantile Learn-Then-Test: Quantile-Based Risk Control for Hyperparameter Optimization
von: Farzaneh, Amirmohammad, et al.
Veröffentlicht: (2024)

Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Sparsity-Aware Optimization of In-Memory Bayesian Binary Neural Network Accelerators
von: Katti, Prabodh, et al.
Veröffentlicht: (2024)

Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
von: Zhang, Yunchuan, et al.
Veröffentlicht: (2024)

Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons
von: Wu, Dengyu, et al.
Veröffentlicht: (2025)

Neuromorphic Wireless Split Computing with Multi-Level Spikes
von: Wu, Dengyu, et al.
Veröffentlicht: (2024)

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
von: Park, Juneyoung, et al.
Veröffentlicht: (2026)

Optimizing In-Context Learning for Efficient Full Conformal Prediction
von: Deng, Weicao, et al.
Veröffentlicht: (2025)

Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference
von: Huang, Jiayi, et al.
Veröffentlicht: (2024)

Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs
von: Cook, Jonathan, et al.
Veröffentlicht: (2025)

Zeroth-Order Sharpness-Aware Learning with Exponential Tilting
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
von: Shang, Sifeng, et al.
Veröffentlicht: (2025)

Private Fine-tuning of Large Language Models with Zeroth-order Optimization
von: Tang, Xinyu, et al.
Veröffentlicht: (2024)

Calibration-Aware Bayesian Learning
von: Huang, Jiayi, et al.
Veröffentlicht: (2023)

Memory-Efficient Fine-Tuning of Transformers via Token Selection
von: Simoulin, Antoine, et al.
Veröffentlicht: (2025)

Personalized Collaborative Fine-Tuning for On-Device Large Language Models
von: Wagner, Nicolas, et al.
Veröffentlicht: (2024)

PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs
von: Peng, Dan, et al.
Veröffentlicht: (2024)

Adaptive Prediction-Powered AutoEval with Reliability and Efficiency Guarantees
von: Park, Sangwoo, et al.
Veröffentlicht: (2025)