Buchumschlag

Geometry-induced Regularization in Deep ReLU Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bona-Pellissier, Joachim, Malgouyres, François, Bachoc, François
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence Machine Learning Neural and Evolutionary Computing Optimization and Control Statistics Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Quantized Approximately Orthogonal Recurrent Neural Networks
von: Foucault, Armand, et al.
Veröffentlicht: (2024)

The Geometry of ReLU Networks through the ReLU Transition Graph
von: Dhayalkar, Sahil Rajesh
Veröffentlicht: (2025)

From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
von: Pilanci, Mert
Veröffentlicht: (2023)

Straight-Through meets Sparse Recovery: the Support Exploration Algorithm
von: Mohamed, Mimoun, et al.
Veröffentlicht: (2023)

Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning
von: Descours, Arnaud, et al.
Veröffentlicht: (2025)

AdamZ: An Enhanced Optimisation Method for Neural Network Training
von: Zaznov, Ilia, et al.
Veröffentlicht: (2024)

Karush-Kuhn-Tucker Condition-Trained Neural Networks (KKT Nets)
von: Arvind, Shreya, et al.
Veröffentlicht: (2024)

A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
von: Zeger, Emi, et al.
Veröffentlicht: (2024)

Survey on Neural Routing Solvers
von: Ba, Yunpeng, et al.
Veröffentlicht: (2026)

On Space Folds of ReLU Neural Networks
von: Lewandowski, Michal, et al.
Veröffentlicht: (2025)

Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks
von: Mali, Ankur, et al.
Veröffentlicht: (2024)

ADMM-Based Training for Spiking Neural Networks
von: Perin, Giovanni, et al.
Veröffentlicht: (2025)

From Tempered to Benign Overfitting in ReLU Neural Networks
von: Kornowski, Guy, et al.
Veröffentlicht: (2023)

A Bandit Approach with Evolutionary Operators for Model Selection
von: Brégère, Margaux, et al.
Veröffentlicht: (2024)

GBO:AMulti-Granularity Optimization Algorithm via Granular-ball for Continuous Problems
von: Xia, Shuyin, et al.
Veröffentlicht: (2023)

Spatial-temporal-demand clustering for solving large-scale vehicle routing problems with time windows
von: Kerscher, Christoph, et al.
Veröffentlicht: (2024)

Few for Many: Tchebycheff Set Scalarization for Many-Objective Optimization
von: Lin, Xi, et al.
Veröffentlicht: (2024)

Quality-Diversity Optimization as Multi-Objective Optimization
von: Lin, Xi, et al.
Veröffentlicht: (2026)

Decoupled Weight Decay for Any $p$ Norm
von: Outmezguine, Nadav Joseph, et al.
Veröffentlicht: (2024)

Smooth Tchebycheff Scalarization for Multi-Objective Optimization
von: Lin, Xi, et al.
Veröffentlicht: (2024)

Causal Explanations from the Geometric Properties of ReLU Neural Networks
von: Woods, Hector, et al.
Veröffentlicht: (2026)

ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
von: Qiu, Qi, et al.
Veröffentlicht: (2024)

Time Elastic Neural Networks
von: Marteau, Pierre-François
Veröffentlicht: (2024)

Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
von: He, Juncai, et al.
Veröffentlicht: (2023)

Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
von: Lamperski, Andrew, et al.
Veröffentlicht: (2024)

Discovering Heuristics with Large Language Models (LLMs) for Mixed-Integer Programs: Single-Machine Scheduling
von: Çetinkaya, İbrahim Oğuz, et al.
Veröffentlicht: (2025)

MicroHD: An Accuracy-Driven Optimization of Hyperdimensional Computing Algorithms for TinyML systems
von: Ponzina, Flavio, et al.
Veröffentlicht: (2024)

Computationally Efficient Optimisation of Elbow-Type Draft Tube Using Neural Network Surrogates
von: Sikirica, Ante, et al.
Veröffentlicht: (2024)

A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
von: Tschernutter, Daniel, et al.
Veröffentlicht: (2024)

On the Depth of Monotone ReLU Neural Networks and ICNNs
von: Bakaev, Egor, et al.
Veröffentlicht: (2025)

Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters
von: Kratsios, Anastasis, et al.
Veröffentlicht: (2025)

Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results
von: Thompson, Andrew, et al.
Veröffentlicht: (2026)

Towards Lower Bounds on the Depth of ReLU Neural Networks
von: Hertrich, Christoph, et al.
Veröffentlicht: (2021)

How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems
von: Huang, Yuxiao, et al.
Veröffentlicht: (2024)

Neural Combinatorial Optimization with Heavy Decoder: Toward Large Scale Generalization
von: Luo, Fu, et al.
Veröffentlicht: (2023)

Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
von: Melamed, Odelia, et al.
Veröffentlicht: (2025)

Limiting Network Size within Finite Bounds for Optimization
von: Pinto, Linu, et al.
Veröffentlicht: (2019)

Competition-based Adaptive ReLU for Deep Neural Networks
von: Chen, Junjia, et al.
Veröffentlicht: (2024)

APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
von: Kumar, Ravin
Veröffentlicht: (2022)

Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
von: Oh, Hyunseok, et al.
Veröffentlicht: (2024)