Buchumschlag

Zeroth-Order Optimization Meets Human Feedback: Provable Learning via Ranking Oracles

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tang, Zhiwei, Rybin, Dmitry, Chang, Tsung-Hui
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FedLion: Faster Adaptive Federated Optimization with Fewer Communication
von: Tang, Zhiwei, et al.
Veröffentlicht: (2024)

Provable Multi-Party Reinforcement Learning with Diverse Human Feedback
von: Zhong, Huiying, et al.
Veröffentlicht: (2024)

Inference-Time Alignment of Diffusion Models with Direct Noise Optimization
von: Tang, Zhiwei, et al.
Veröffentlicht: (2024)

Refining Adaptive Zeroth-Order Optimization at Ease
von: Shu, Yao, et al.
Veröffentlicht: (2025)

Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2025)

A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning
von: Wu, Chenlin, et al.
Veröffentlicht: (2024)

Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
von: Kim, Dongyoon, et al.
Veröffentlicht: (2025)

CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
von: Wang, Shuo, et al.
Veröffentlicht: (2026)

When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices
von: Zhang, Pengyu, et al.
Veröffentlicht: (2024)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
von: Feng, Jian, et al.
Veröffentlicht: (2026)

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
von: Chen, Ziye, et al.
Veröffentlicht: (2026)

Scalable Valuation of Human Feedback through Provably Robust Model Alignment
von: Fujisawa, Masahiro, et al.
Veröffentlicht: (2025)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
von: Yu, Ziming, et al.
Veröffentlicht: (2024)

Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
von: Guo, Wentao, et al.
Veröffentlicht: (2024)

Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
von: Xiao, Teng, et al.
Veröffentlicht: (2024)

OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning
von: Long, Jikai, et al.
Veröffentlicht: (2025)

Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
von: Li, Xiaoyu, et al.
Veröffentlicht: (2025)

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
von: Zhang, Zhen, et al.
Veröffentlicht: (2025)

Provable Interactive Learning with Hindsight Instruction Feedback
von: Misra, Dipendra, et al.
Veröffentlicht: (2024)

FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
von: Dang, Sizhe, et al.
Veröffentlicht: (2025)

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
von: Cai, Zhijie, et al.
Veröffentlicht: (2026)

Prompt Optimization with Human Feedback
von: Lin, Xiaoqiang, et al.
Veröffentlicht: (2024)

Perturbation-efficient Zeroth-order Optimization for Hardware-friendly On-device Training
von: Tan, Qitao, et al.
Veröffentlicht: (2025)

Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization
von: Liang, Chen, et al.
Veröffentlicht: (2026)

Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
von: Legate, Gwen, et al.
Veröffentlicht: (2025)

QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
von: Zhou, Jiajun, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Efficient Knowledge Graph Unlearning with Zeroth-order Information
von: Xiao, Yang, et al.
Veröffentlicht: (2025)

Provably Learning from Modern Language Models via Low Logit Rank
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Communication-Efficient and Differentially Private Vertical Federated Learning with Zeroth-Order Optimization
von: Zhang, Jianing, et al.
Veröffentlicht: (2025)

Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity
von: Ran, Yide, et al.
Veröffentlicht: (2025)

Enhancing Safety in Reinforcement Learning with Human Feedback via Rectified Policy Optimization
von: Peng, Xiyue, et al.
Veröffentlicht: (2024)

Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
von: Jing, Gangshan, et al.
Veröffentlicht: (2021)

Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
von: Xiong, Guojun, et al.
Veröffentlicht: (2024)

Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization
von: Yu, Wenrui, et al.
Veröffentlicht: (2024)

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs
von: Suwandi, Richard Cornelius, et al.
Veröffentlicht: (2025)

Zeroth-Order Actor-Critic: An Evolutionary Framework for Sequential Decision Problems
von: Lei, Yuheng, et al.
Veröffentlicht: (2022)

Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
von: Cercola, Matteo, et al.
Veröffentlicht: (2025)