Buchumschlag

Zeroth-Order Sharpness-Aware Learning with Exponential Tilting

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gong, Xuchen, Li, Tian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Private Zeroth-Order Optimization with Public Data
von: Gong, Xuchen, et al.
Veröffentlicht: (2025)

On the Convergence of Zeroth-Order Federated Tuning for Large Language Models
von: Ling, Zhenqing, et al.
Veröffentlicht: (2024)

Tilted Sharpness-Aware Minimization
von: Li, Tian, et al.
Veröffentlicht: (2024)

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
von: Katti, Prabodh, et al.
Veröffentlicht: (2025)

Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
von: Zhang, Yihua, et al.
Veröffentlicht: (2024)

Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
von: Wang, Fei, et al.
Veröffentlicht: (2024)

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning
von: Liu, Yong, et al.
Veröffentlicht: (2024)

Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
von: Li, Zeman, et al.
Veröffentlicht: (2024)

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting
von: Watts, Ishaan, et al.
Veröffentlicht: (2026)

Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning
von: Liu, Z, et al.
Veröffentlicht: (2024)

Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
von: Jin, Feihu, et al.
Veröffentlicht: (2026)

Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training
von: Cunegatti, Elia, et al.
Veröffentlicht: (2024)

TRAM: Bridging Trust Regions and Sharpness Aware Minimization
von: Sherborne, Tom, et al.
Veröffentlicht: (2023)

Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models
von: Gautam, Tanmay, et al.
Veröffentlicht: (2024)

Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates
von: Nguyen, Duy, et al.
Veröffentlicht: (2026)

AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

Towards LLM Unlearning Resilient to Relearning Attacks: A Sharpness-Aware Minimization Perspective and Beyond
von: Fan, Chongyu, et al.
Veröffentlicht: (2025)

ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models
von: Li, Chen, et al.
Veröffentlicht: (2026)

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
von: Shang, Sifeng, et al.
Veröffentlicht: (2025)

SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passes
von: Yang, Yifan, et al.
Veröffentlicht: (2025)

Beyond Superficial Unlearning: Sharpness-Aware Robust Erasure of Hallucinations in Multimodal LLMs
von: Fang, Xianya, et al.
Veröffentlicht: (2026)

LASER: Attention with Exponential Transformation
von: Duvvuri, Sai Surya, et al.
Veröffentlicht: (2024)

Efficient k-means with Individual Fairness via Exponential Tilting
von: Zhu, Shengkun, et al.
Veröffentlicht: (2024)

Private Fine-tuning of Large Language Models with Zeroth-order Optimization
von: Tang, Xinyu, et al.
Veröffentlicht: (2024)

Learning Page Order in Shuffled WOO Releases
von: Kahraman, Efe, et al.
Veröffentlicht: (2026)

Provable Scaling Laws for the Test-Time Compute of Large Language Models
von: Chen, Yanxi, et al.
Veröffentlicht: (2024)

EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models
von: Pan, Xuchen, et al.
Veröffentlicht: (2024)

Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
von: Fu, Deqing, et al.
Veröffentlicht: (2023)

Temper and Tilt Lead to SLOP: Reward Hacking Mitigation with Inference-Time Alignment
von: Wang, Ye, et al.
Veröffentlicht: (2026)

Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning
von: Tan, Qitao, et al.
Veröffentlicht: (2025)

Learning Semantic Structure through First-Order-Logic Translation
von: Chaturvedi, Akshay, et al.
Veröffentlicht: (2024)

Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
von: Zhang, Kaiyi, et al.
Veröffentlicht: (2024)

PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention
von: Chen, Lida, et al.
Veröffentlicht: (2025)

CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs
von: Liu, Yuanxiang, et al.
Veröffentlicht: (2026)

MMLU-Pro+: Evaluating Higher-Order Reasoning and Shortcut Learning in LLMs
von: Taghanaki, Saeid Asgari, et al.
Veröffentlicht: (2024)

ADELT: Transpilation Between Deep Learning Frameworks
von: Gong, Linyuan, et al.
Veröffentlicht: (2023)

Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization
von: Li, Zhe, et al.
Veröffentlicht: (2024)

AST-T5: Structure-Aware Pretraining for Code Generation and Understanding
von: Gong, Linyuan, et al.
Veröffentlicht: (2024)

HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
von: Wang, Weiqi, et al.
Veröffentlicht: (2026)