Buchumschlag

ReCA: A Parametric ReLU Composite Activation Function

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chidiac, John, Azar, Danielle
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU
von: Roodschild, Matias, et al.
Veröffentlicht: (2024)

N-ReLU: Zero-Mean Stochastic Extension of ReLU
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2025)

Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
von: Awiakye-Marfo, George, et al.
Veröffentlicht: (2026)

Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
von: Zhang, Shijun, et al.
Veröffentlicht: (2023)

The Resurrection of the ReLU
von: Horuz, Coşku Can, et al.
Veröffentlicht: (2025)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs
von: Zhang, Zhengyan, et al.
Veröffentlicht: (2024)

Activation-Descent Regularization for Input Optimization of ReLU Networks
von: Yu, Hongzhan, et al.
Veröffentlicht: (2024)

Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks
von: Chen, Wenlin, et al.
Veröffentlicht: (2023)

ReLU Networks as Random Functions: Their Distribution in Probability Space
von: Chaudhari, Shreyas, et al.
Veröffentlicht: (2025)

Complexity of One-Dimensional ReLU DNNs
von: Kogan, Jonathan, et al.
Veröffentlicht: (2025)

Symmetric Matrix Completion with ReLU Sampling
von: Liu, Huikang, et al.
Veröffentlicht: (2024)

Is ReLU Adversarially Robust?
von: Sooksatra, Korn, et al.
Veröffentlicht: (2024)

Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
von: Wild, Cody, et al.
Veröffentlicht: (2024)

SurvReLU: Inherently Interpretable Survival Analysis via Deep ReLU Networks
von: Sun, Xiaotong, et al.
Veröffentlicht: (2024)

The Effects of Multi-Task Learning on ReLU Neural Network Functions
von: Nakhleh, Julia, et al.
Veröffentlicht: (2024)

Topological Signatures of ReLU Neural Network Activation Patterns
von: Bosca, Vicente, et al.
Veröffentlicht: (2025)

Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
von: Guo, Anxin, et al.
Veröffentlicht: (2024)

Agnostic Learning of General ReLU Activation Using Gradient Descent
von: Awasthi, Pranjal, et al.
Veröffentlicht: (2022)

A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions
von: Noel, Mathew Mithra, et al.
Veröffentlicht: (2024)

ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
von: Qiu, Qi, et al.
Veröffentlicht: (2024)

Constraining the outputs of ReLU neural networks
von: Alexandr, Yulia, et al.
Veröffentlicht: (2025)

Toric geometry of ReLU neural networks
von: Fu, Yaoying
Veröffentlicht: (2025)

Pathwise Explanation of ReLU Neural Networks
von: Lim, Seongwoo, et al.
Veröffentlicht: (2025)

Nearly Optimal Differentially Private ReLU Regression
von: Ding, Meng, et al.
Veröffentlicht: (2025)

Convexity in ReLU Neural Networks: beyond ICNNs?
von: Gagneux, Anne, et al.
Veröffentlicht: (2025)

Optimal Sets and Solution Paths of ReLU Networks
von: Mishkin, Aaron, et al.
Veröffentlicht: (2023)

On Size-Independent Sample Complexity of ReLU Networks
von: Sellke, Mark
Veröffentlicht: (2023)

Online Realizable Regression and Applications for ReLU Networks
von: Doron-Arad, Ilan, et al.
Veröffentlicht: (2026)

Injectivity capacity of ReLU gates
von: Stojnic, Mihailo
Veröffentlicht: (2024)

ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
von: Wang, Ziteng, et al.
Veröffentlicht: (2024)

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
von: Holzmüller, David, et al.
Veröffentlicht: (2025)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

Stochastic Bandits with ReLU Neural Networks
von: Xu, Kan, et al.
Veröffentlicht: (2024)

Some Super-approximation Rates of ReLU Neural Networks for Korobov Functions
von: Li, Yuwen, et al.
Veröffentlicht: (2025)

ReLU integral probability metric and its applications
von: Park, Yuha, et al.
Veröffentlicht: (2025)

Stably unactivated neurons in ReLU neural networks
von: Brownlowe, Natalie, et al.
Veröffentlicht: (2024)

Topological Expressivity of ReLU Neural Networks
von: Ergen, Ekin, et al.
Veröffentlicht: (2023)

Three Quantization Regimes for ReLU Networks
von: Ou, Weigutian, et al.
Veröffentlicht: (2024)