AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments

Documenti analoghi

• Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
  di: Liu, Yong, et al.
  Pubblicazione: (2024)
• CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning
  di: Wang, Shuo, et al.
  Pubblicazione: (2026)
• QuZO: Quantized Zeroth-Order Fine-Tuning for Large Language Models
  di: Zhou, Jiajun, et al.
  Pubblicazione: (2025)
• MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
  di: Zhang, Zhen, et al.
  Pubblicazione: (2025)
• AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
  di: Chen, Ziye, et al.
  Pubblicazione: (2026)