Buchumschlag

Expanded Gating Ranges Improve Activation Functions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Huang, Allen Hao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Neural and Evolutionary Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Deriving Activation Functions Using Integration
von: Huang, Allen Hao, et al.
Veröffentlicht: (2024)

Topology-Aware Activation Functions in Neural Networks
von: Snopov, Pavel, et al.
Veröffentlicht: (2025)

Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
von: Ma, Pui-Wai
Veröffentlicht: (2024)

Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data
von: Pourkamali-Anaraki, Farhad, et al.
Veröffentlicht: (2024)

APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks
von: Subramanian, Barathi, et al.
Veröffentlicht: (2024)

A More Accurate Approximation of Activation Function with Few Spikes Neurons
von: Jeong, Dayena, et al.
Veröffentlicht: (2024)

Steering Large Language Models using Conceptors: Improving Addition-Based Activation Engineering
von: Postmus, Joris, et al.
Veröffentlicht: (2024)

Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations
von: Farea, Afrah, et al.
Veröffentlicht: (2024)

Evolving Multi-Channel Confidence-Aware Activation Functions for Missing Data with Channel Propagation
von: Sani, Naeem Shahabi, et al.
Veröffentlicht: (2026)

Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU
von: Roodschild, Matias, et al.
Veröffentlicht: (2024)

Contextual Feature Selection with Conditional Stochastic Gates
von: Sristi, Ram Dyuthi, et al.
Veröffentlicht: (2023)

Gated recurrent neural networks discover attention
von: Zucchet, Nicolas, et al.
Veröffentlicht: (2023)

Hysteresis Activation Function for Efficient Inference
von: Kimhi, Moshe, et al.
Veröffentlicht: (2024)

A Gated Residual Kolmogorov-Arnold Networks for Mixtures of Experts
von: Inzirillo, Hugo, et al.
Veröffentlicht: (2024)

Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
von: Erichson, N. Benjamin, et al.
Veröffentlicht: (2022)

Improving Quaternion Neural Networks with Quaternionic Activation Functions
von: Pöppelbaum, Johannes, et al.
Veröffentlicht: (2024)

Predicting the Stay Length of Patients in Hospitals using Convolutional Gated Recurrent Deep Learning Model
von: Neshat, Mehdi, et al.
Veröffentlicht: (2024)

Directly Learning Stock Trading Strategies Through Profit Guided Loss Functions
von: Kar, Devroop, et al.
Veröffentlicht: (2025)

ActNAS : Generating Efficient YOLO Models using Activation NAS
von: Sah, Sudhakar, et al.
Veröffentlicht: (2024)

Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
von: Kutsuna, Takuro
Veröffentlicht: (2024)

Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning
von: Mavor-Parker, Augustine N., et al.
Veröffentlicht: (2024)

Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions
von: Kunc, Vladimír
Veröffentlicht: (2024)

GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers
von: Bal, Malyaban, et al.
Veröffentlicht: (2025)

ENN: A Neural Network with DCT Adaptive Activation Functions
von: Martinez-Gost, Marc, et al.
Veröffentlicht: (2023)

Improved Forward-Forward Contrastive Learning
von: R, Gananath
Veröffentlicht: (2024)

Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
von: Troiano, Luigi, et al.
Veröffentlicht: (2025)

Improved Robustness and Hyperparameter Selection in the Dense Associative Memory
von: McAlister, Hayden, et al.
Veröffentlicht: (2024)

Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis
von: Hao, Hao, et al.
Veröffentlicht: (2024)

Improved weight initialization for deep and narrow feedforward neural network
von: Lee, Hyunwoo, et al.
Veröffentlicht: (2023)

Classifying States of the Hopfield Network with Improved Accuracy, Generalization, and Interpretability
von: McAlister, Hayden, et al.
Veröffentlicht: (2025)

Effective Regularization Through Loss-Function Metalearning
von: Gonzalez, Santiago, et al.
Veröffentlicht: (2020)

Identifying Easy Instances to Improve Efficiency of ML Pipelines for Algorithm-Selection
von: Renau, Quentin, et al.
Veröffentlicht: (2024)

Training a General Spiking Neural Network with Improved Efficiency and Minimum Latency
von: Yao, Yunpeng, et al.
Veröffentlicht: (2024)

Improving Algorithm-Selection and Performance-Prediction via Learning Discriminating Training Samples
von: Renau, Quentin, et al.
Veröffentlicht: (2024)

Sleep-Like Unsupervised Replay Improves Performance when Data are Limited or Unbalanced
von: Bazhenov, Anthony, et al.
Veröffentlicht: (2024)

Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving
von: Ghoreishee, Aref, et al.
Veröffentlicht: (2026)

Closed-Form Test Functions for Biophysical Sequence Optimization Algorithms
von: Stanton, Samuel, et al.
Veröffentlicht: (2024)

Integrating Functionalities To A System Via Autoencoder Hippocampus Network
von: Luo, Siwei
Veröffentlicht: (2024)

Generalized Dynamic Brain Functional Connectivity Based on Random Convolutions
von: Duan, Yongjie, et al.
Veröffentlicht: (2024)

Guiding Multi-Objective Genetic Programming with Description Length Improves Symbolic Regression Solutions
von: Kronberger, Gabriel, et al.
Veröffentlicht: (2026)