Provable Emergence of Deep Neural Collapse and Low-Rank Bias in $L^2$-Regularized Nonlinear Networks

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zangrando, Emanuele, Deidda, Piero, Brugiapaglia, Simone, Guglielmi, Nicola, Tudisco, Francesco
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Numerical Analysis
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Low-Rank Adversarial PGD Attack
di: Savostianova, Dayana, et al.
Pubblicazione: (2024)

Neural-HSS: Hierarchical Semi-Separable Neural PDE Solver
di: Sittoni, Pietro, et al.
Pubblicazione: (2026)

Nonlinear Joint Spectral Radius
di: Deidda, Piero, et al.
Pubblicazione: (2025)

Cholesky-like Preconditioner for Hodge Laplacians via Heavy Collapsible Subcomplex
di: Savostianov, Anton, et al.
Pubblicazione: (2024)

Robust low-rank training via approximate orthonormal constraints
di: Savostianova, Dayana, et al.
Pubblicazione: (2023)

Geometry-aware training of factorized layers in tensor Tucker format
di: Zangrando, Emanuele, et al.
Pubblicazione: (2023)

Convergence of a Low-Rank Strang Splitting for Stiff Matrix Differential Equations
di: Scalone, Carmen, et al.
Pubblicazione: (2026)

Graph $p$-Laplacian eigenpairs as saddle points of a family of spectral energy functions
di: Deidda, Piero, et al.
Pubblicazione: (2024)

Improving the robustness of neural ODEs with minimal weight perturbation
di: De Marinis, Arturo, et al.
Pubblicazione: (2025)

Contractivity of neural ODEs: an eigenvalue optimization problem
di: Guglielmi, Nicola, et al.
Pubblicazione: (2024)

GeoLoRA: Geometric integration for parameter efficient fine-tuning
di: Schotthöfer, Steffen, et al.
Pubblicazione: (2024)

Approximating Matrix Functions with Deep Neural Networks and Transformers
di: Padmanabhan, Rahul, et al.
Pubblicazione: (2026)

Quantifying the structural stability of simplicial homology
di: Guglielmi, Nicola, et al.
Pubblicazione: (2023)

Approximation properties of neural ODEs
di: De Marinis, Arturo, et al.
Pubblicazione: (2025)

Subhomogeneous Deep Equilibrium Models
di: Sittoni, Pietro, et al.
Pubblicazione: (2024)

A practical existence theorem for reduced order models based on convolutional autoencoders
di: Franco, Nicola Rares, et al.
Pubblicazione: (2024)

Core-periphery detection in multilayer networks
di: Bergermann, Kai, et al.
Pubblicazione: (2024)

Efficient Sparsification of Simplicial Complexes via Local Densities of States
di: Savostianov, Anton, et al.
Pubblicazione: (2025)

Fast One-Pass Sparse Approximation of the Top Eigenvectors of Huge Approximately Low-Rank Matrices? Yes, $MAM^*$!
di: Boahen, Edem, et al.
Pubblicazione: (2025)

Provable Low-Rank Tensor-Train Approximations in the Inverse of Large-Scale Structured Matrices
di: Xiao, Chuanfu, et al.
Pubblicazione: (2025)

Nonlinear spectral graph theory
di: Deidda, Piero, et al.
Pubblicazione: (2025)

Lattice-based Deep Neural Networks: Regularity and Tailored Regularization
di: Keller, Alexander, et al.
Pubblicazione: (2026)

The greedy side of the LASSO: New algorithms for weighted sparse recovery via loss function-based orthogonal matching pursuit
di: Mohammad-Taheri, Sina, et al.
Pubblicazione: (2023)

Deep greedy unfolding: Sorting out argsorting in greedy sparse recovery algorithms
di: Mohammad-Taheri, Sina, et al.
Pubblicazione: (2025)

Dynamical Low-Rank Approximation Strategies for Nonlinear Feedback Control Problems
di: Saluzzi, Luca, et al.
Pubblicazione: (2025)

Low-Rank Regularized Convex-Non-Convex Problems for Image Segmentation or Completion
di: Guide, Mohamed El, et al.
Pubblicazione: (2025)

Gripenberg-like algorithm for the lower spectral radius
di: Guglielmi, Nicola, et al.
Pubblicazione: (2024)

Learning smooth functions in high dimensions: from sparse polynomials to deep neural networks
di: Adcock, Ben, et al.
Pubblicazione: (2024)

Operator SVD with Neural Networks via Nested Low-Rank Approximation
di: Ryu, J. Jon, et al.
Pubblicazione: (2024)

A Low-Rank QTT-based Finite Element Method for Elasticity Problems
di: Benvenuti, Elena, et al.
Pubblicazione: (2025)

A nonlinear spectral core-periphery detection method for multiplex networks
di: Bergermann, Kai, et al.
Pubblicazione: (2023)

Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks
di: Liu, Chaoyu, et al.
Pubblicazione: (2023)

Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
di: Schotthöfer, Steffen, et al.
Pubblicazione: (2025)

CUR Low Rank Approximation of a Matrix at Sublinear Cost
di: Go, Soo, et al.
Pubblicazione: (2019)

Physics-informed deep learning and compressive collocation for high-dimensional diffusion-reaction equations: practical existence theory and numerics
di: Brugiapaglia, Simone, et al.
Pubblicazione: (2024)

A Semi-Convergent Stage-Wise Framework with Provable Global Convergence for Adaptive Total Variation Regularization
di: Luo, Liang, et al.
Pubblicazione: (2025)

Rank Inspired Neural Network for solving linear partial differential equations
di: Peng, Wentao, et al.
Pubblicazione: (2025)

Superfast Low Rank Approximation
di: Go, Soo, et al.
Pubblicazione: (2018)

Are We Measuring Oversmoothing in Graph Neural Networks Correctly?
di: Zhang, Kaicheng, et al.
Pubblicazione: (2025)

Low Rank Approximation at Sublinear Cost
di: Luan, Qi, et al.
Pubblicazione: (2019)