Efficient Search for Customized Activation Functions with Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Strack, Lukas, Safari, Mahmoud, Hutter, Frank
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Weight-Entanglement Meets Gradient-Based Neural Architecture Search
von: Sukthanker, Rhea Sanjay, et al.
Veröffentlicht: (2023)

Gompertz Linear Units: Leveraging Asymmetry for Enhanced Learning Dynamics
von: Das, Indrashis, et al.
Veröffentlicht: (2025)

Gradient Descent Algorithm Survey
von: Fucheng, Deng, et al.
Veröffentlicht: (2025)

Learning Associative Memories with Gradient Descent
von: Cabannes, Vivien, et al.
Veröffentlicht: (2024)

Randomness and Interpolation Improve Gradient Descent
von: Li, Jiawen, et al.
Veröffentlicht: (2025)

ONG: Orthogonal Natural Gradient Descent
von: Yadav, Yajat, et al.
Veröffentlicht: (2025)

A Method on Searching Better Activation Functions
von: Sun, Haoyuan, et al.
Veröffentlicht: (2024)

FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
von: Liu, Junkang, et al.
Veröffentlicht: (2026)

Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms
von: Cichocki, Andrzej, et al.
Veröffentlicht: (2025)

Vanilla Gradient Descent for Oblique Decision Trees
von: Panda, Subrat Prasad, et al.
Veröffentlicht: (2024)

Adaptive Heavy-Tailed Stochastic Gradient Descent
von: Gong, Bodu, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent with Momentum is Algorithmically Stable
von: Lei, Yunwen, et al.
Veröffentlicht: (2026)

Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent
von: Chen, Bo, et al.
Veröffentlicht: (2024)

c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization
von: Watanabe, Shuhei, et al.
Veröffentlicht: (2022)

Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
von: Hu, Liwei, et al.
Veröffentlicht: (2026)

Elastic Multi-Gradient Descent for Parallel Continual Learning
von: Lyu, Fan, et al.
Veröffentlicht: (2024)

Revisiting the Initial Steps in Adaptive Gradient Descent Optimization
von: Abuduweili, Abulikemu, et al.
Veröffentlicht: (2024)

Can LLMs predict the convergence of Stochastic Gradient Descent?
von: Zekri, Oussama, et al.
Veröffentlicht: (2024)

The Initialization Determines Whether In-Context Learning Is Gradient Descent
von: Xie, Shifeng, et al.
Veröffentlicht: (2025)

Conflict-Averse Gradient Descent for Multi-task Learning
von: Liu, Bo, et al.
Veröffentlicht: (2021)

Noise Balance and Stationary Distribution of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

Gradient Descent Efficiency Index
von: Dhingra, Aviral
Veröffentlicht: (2024)

Levin Tree Search with Context Models
von: Orseau, Laurent, et al.
Veröffentlicht: (2023)

Sven: Singular Value Descent as a Computationally Efficient Natural Gradient Method
von: Bright-Thonney, Samuel, et al.
Veröffentlicht: (2026)

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
von: Garg, Ishir, et al.
Veröffentlicht: (2026)

Activation-Descent Regularization for Input Optimization of ReLU Networks
von: Yu, Hongzhan, et al.
Veröffentlicht: (2024)

Functional Acceleration for Policy Mirror Descent
von: Chelu, Veronica, et al.
Veröffentlicht: (2024)

Improving LLM-based Global Optimization with Search Space Partitioning
von: Schwanke, Andrej, et al.
Veröffentlicht: (2025)

Geometrically Inspired Kernel Machines for Collaborative Learning Beyond Gradient Descent
von: Kumar, Mohit, et al.
Veröffentlicht: (2024)

GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent
von: Marton, Sascha, et al.
Veröffentlicht: (2023)

Transformers Learn to Implement Multi-step Gradient Descent with Chain of Thought
von: Huang, Jianhao, et al.
Veröffentlicht: (2025)

Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization
von: Kumar, Ramnath, et al.
Veröffentlicht: (2023)

Local Entropy Search over Descent Sequences for Bayesian Optimization
von: Stenger, David, et al.
Veröffentlicht: (2025)

Large Language Models Engineer Too Many Simple Features For Tabular Data
von: Küken, Jaris, et al.
Veröffentlicht: (2024)

Don't Waste Your Time: Early Stopping Cross-Validation
von: Bergman, Edward, et al.
Veröffentlicht: (2024)

EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks
von: Arbel, Michael, et al.
Veröffentlicht: (2025)

Agentic NL2SQL to Reduce Computational Costs
von: Jehle, Dominik, et al.
Veröffentlicht: (2025)

Mamba4Cast: Efficient Zero-Shot Time Series Forecasting with State Space Models
von: Bhethanabhotla, Sathya Kamesh, et al.
Veröffentlicht: (2024)

PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
von: Xu, Mingjing, et al.
Veröffentlicht: (2024)

Reconstructing Deep Neural Networks: Unleashing the Optimization Potential of Natural Gradient Descent
von: Liu, Weihua, et al.
Veröffentlicht: (2024)