Buchumschlag

New Insight of Variance reduce in Zero-Order Hard-Thresholding: Mitigating Gradient Error and Expansivity Contradictions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yuan, Xinzhe, de Vazelhes, William, Gu, Bin, Xiong, Huan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence Machine Learning G.1.6; I.2.6
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Differentiable Simulation of Hard Contacts with Soft Gradients for Learning and Control
von: Paulus, Anselm, et al.
Veröffentlicht: (2025)

Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers
von: Yuan, Xinzhe, et al.
Veröffentlicht: (2026)

Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
von: Fan, Donney, et al.
Veröffentlicht: (2026)

Multi-Objective Optimization with Desirability and Morris-Mitchell Criterion
von: Bartz-Beielstein, Thomas, et al.
Veröffentlicht: (2025)

Towards Systematic Generalization for Power Grid Optimization Problems
von: Memon, Zeeshan, et al.
Veröffentlicht: (2026)

Bayesian Optimization in Linear Time
von: Schneider, Jesse, et al.
Veröffentlicht: (2026)

Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery
von: Yuan, Xinzhe, et al.
Veröffentlicht: (2026)

A Reinforcement Learning Method for Environments with Stochastic Variables: Post-Decision Proximal Policy Optimization with Dual Critic Networks
von: Felizardo, Leonardo Kanashiro, et al.
Veröffentlicht: (2025)

On the Convergence Behavior of Preconditioned Gradient Descent Toward the Rich Learning Regime
von: Jiang, Shuai, et al.
Veröffentlicht: (2026)

Bed-Attached Vibration Sensor System: A Machine Learning Approach for Fall Detection in Nursing Homes
von: Bartz-Beielstein, Thomas, et al.
Veröffentlicht: (2024)

Simplifying Hyperparameter Tuning in Online Machine Learning -- The spotRiverGUI
von: Bartz-Beielstein, Thomas
Veröffentlicht: (2024)

Boosting Ray Search Procedure of Hard-label Attacks with Transfer-based Priors
von: Ma, Chen, et al.
Veröffentlicht: (2025)

Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates
von: Fokam, Cabrel Teguemne, et al.
Veröffentlicht: (2024)

Training Language Models to Use Prolog as a Tool
von: Mellgren, Niklas, et al.
Veröffentlicht: (2025)

Teacher-Student Guided Inverse Modeling for Steel Final Hardness Estimation
von: Alsheikh, Ahmad, et al.
Veröffentlicht: (2025)

The Non-Linearity Perturbation Threshold: Width Scaling and Landscape Bifurcations in Deep Learning
von: Alexander, Michael
Veröffentlicht: (2026)

Randomized Approach to Matrix Completion: Applications in Recommendation Systems and Image Inpainting
von: Krajewska, Antonina, et al.
Veröffentlicht: (2024)

The Affine Divergence: Aligning Activation Updates Beyond Normalisation
von: Bird, George
Veröffentlicht: (2025)

FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection
von: Singh, Devender, et al.
Veröffentlicht: (2026)

Multi-Objective Optimization and Hyperparameter Tuning With Desirability Functions
von: Bartz-Beielstein, Thomas
Veröffentlicht: (2025)

Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight
von: Romero, Angel, et al.
Veröffentlicht: (2023)

Convex Optimization for Alignment and Preference Learning on a Single GPU
von: Feng, Miria, et al.
Veröffentlicht: (2026)

Reliability of Single-Level Equality-Constrained Inverse Optimal Control
von: Bečanović, Filip, et al.
Veröffentlicht: (2025)

Improving the Convergence Rate of Ray Search Optimization for Query-Efficient Hard-Label Attacks
von: Xu, Xinjie, et al.
Veröffentlicht: (2025)

Fusing Rewards and Preferences in Reinforcement Learning
von: Khorasani, Sadegh, et al.
Veröffentlicht: (2025)

Contrastive and Multi-Task Learning on Noisy Brain Signals with Nonlinear Dynamical Signatures
von: Ghosh, Sucheta, et al.
Veröffentlicht: (2026)

Learning Affine-Equivariant Proximal Operators
von: Savir, Oriel, et al.
Veröffentlicht: (2026)

ACE: Exploring Activation Cosine Similarity and Variance for Accurate and Calibration-Efficient LLM Pruning
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

Rewarding Beliefs, Not Actions: Consistency-Guided Credit Assignment for Long-Horizon Agents
von: Tang, Wenjie, et al.
Veröffentlicht: (2026)

Gradient-enhanced PINN with residual unit for studying forward-inverse problems of variable coefficient equations
von: Zhou, Hui-Juan, et al.
Veröffentlicht: (2025)

Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity
von: de Vazelhes, William, et al.
Veröffentlicht: (2022)

Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers
von: Gray, Gavia, et al.
Veröffentlicht: (2024)

Deep Memory Search: A Metaheuristic Approach for Optimizing Heuristic Search
von: Hedar, Abdel-Rahman, et al.
Veröffentlicht: (2024)

Identifying Policy Gradient Subspaces
von: Schneider, Jan, et al.
Veröffentlicht: (2024)

Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
von: Jaaouine, Imane, et al.
Veröffentlicht: (2025)

Semi-Supervised Learning for AVO Inversion with Strong Spatial Feature Constraints
von: Liu, Yingtian, et al.
Veröffentlicht: (2025)

AI and Machine Learning Approaches for Predicting Nanoparticles Toxicity The Critical Role of Physiochemical Properties
von: Yousaf, Iqra
Veröffentlicht: (2024)

Gradient descent provably escapes saddle points in the training of shallow ReLU networks
von: Cheridito, Patrick, et al.
Veröffentlicht: (2022)

IGT-OMD: Implicit Gradient Transport for Decision-Focused Learning under Delayed Feedback
von: Amoh, Benjamin, et al.
Veröffentlicht: (2026)

Theoretical Framework for Tempered Fractional Gradient Descent: Application to Breast Cancer Classification
von: Naifar, Omar
Veröffentlicht: (2025)