Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling

Ähnliche Einträge

• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
  von: Wang, Fei, et al.
  Veröffentlicht: (2024)
• Layer as Puzzle Pieces: Compressing Large Language Models through Layer Concatenation
  von: Wang, Fei, et al.
  Veröffentlicht: (2025)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs
  von: Sun, Yan, et al.
  Veröffentlicht: (2025)
• HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization
  von: Zhao, Huaqin, et al.
  Veröffentlicht: (2024)
• On Adaptivity in Zeroth-Order Optimization
  von: Dbouk, Hassan, et al.
  Veröffentlicht: (2026)