Buchumschlag

Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jacobs, Tom, Montufar, Guido
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
von: Liang, Shuang, et al.
Veröffentlicht: (2024)

Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
von: Jacobs, Tom, et al.
Veröffentlicht: (2025)

Mask in the Mirror: Implicit Sparsification
von: Jacobs, Tom, et al.
Veröffentlicht: (2024)

The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
von: Gronich, Eitan, et al.
Veröffentlicht: (2026)

Implicit Bias of Mirror Flow on Separable Data
von: Pesme, Scott, et al.
Veröffentlicht: (2024)

Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks
von: Tsilivis, Nikolaos, et al.
Veröffentlicht: (2024)

Never Saddle for Reparameterized Steepest Descent as Mirror Flow
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Understanding Learning Invariance in Deep Linear Networks
von: Duan, Hao, et al.
Veröffentlicht: (2025)

Hyperbolic Aware Minimization: Implicit Bias for Sparsity
von: Jacobs, Tom, et al.
Veröffentlicht: (2025)

Robustness Verification of Polynomial Neural Networks
von: Alexandr, Yulia, et al.
Veröffentlicht: (2026)

On the Local Complexity of Linear Regions in Deep ReLU Networks
von: Patel, Niket, et al.
Veröffentlicht: (2024)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
von: Li, Binghui, et al.
Veröffentlicht: (2024)

Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
von: Akhtiamov, Danil, et al.
Veröffentlicht: (2026)

Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region
von: Liang, Shuang, et al.
Veröffentlicht: (2025)

Constraining the outputs of ReLU neural networks
von: Alexandr, Yulia, et al.
Veröffentlicht: (2025)

HORST: Composing Optimizer Geometries for Sparse Transformer Training
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2023)

Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2024)

Continuous Field Reconstruction from Sparse Observations with Implicit Neural Networks
von: Luo, Xihaier, et al.
Veröffentlicht: (2024)

The Real Tropical Geometry of Neural Networks
von: Brandenburg, Marie-Charlotte, et al.
Veröffentlicht: (2024)

Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
von: Sander, Tom, et al.
Veröffentlicht: (2024)

The Symmetries of Three-Layer ReLU Networks
von: Gegenfurtner, Johanna Marie, et al.
Veröffentlicht: (2026)

Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
von: Yang, Hongru, et al.
Veröffentlicht: (2023)

How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks
von: Littwin, Etai, et al.
Veröffentlicht: (2024)

Zero-Shot Context Generalization in Reinforcement Learning from Few Training Contexts
von: Chapman, James, et al.
Veröffentlicht: (2025)

Algebraic Invariants of Lightning Self-Attention
von: Alexandr, Yulia, et al.
Veröffentlicht: (2026)

Low Rank Gradients and Where to Find Them
von: Sonthalia, Rishi, et al.
Veröffentlicht: (2025)

Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks
von: Dong, Hang-Cheng, et al.
Veröffentlicht: (2026)

Enhancing Neural Network Interpretability with Feature-Aligned Sparse Autoencoders
von: Marks, Luke, et al.
Veröffentlicht: (2024)

Fourier-Invertible Neural Encoder (FINE) for Homogeneous Flows
von: Ouyang, Anqiao, et al.
Veröffentlicht: (2025)

Harmful Overfitting in Sobolev Spaces
von: Karhadkar, Kedar, et al.
Veröffentlicht: (2026)

In-flight Novelty Detection with Convolutional Neural Networks
von: Hartwell, Adam, et al.
Veröffentlicht: (2021)

Learning Neural Networks with Sparse Activations
von: Awasthi, Pranjal, et al.
Veröffentlicht: (2024)

Unveiling the Power of Sparse Neural Networks for Feature Selection
von: Atashgahi, Zahra, et al.
Veröffentlicht: (2024)

Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
von: Town, James, et al.
Veröffentlicht: (2026)

Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin
von: Kumar, Akshay, et al.
Veröffentlicht: (2025)

A Graphop Analysis of Graph Neural Networks on Sparse Graphs: Generalization and Universal Approximation
von: Amran, Ofek, et al.
Veröffentlicht: (2026)

Dense-Sparse Deep Convolutional Neural Networks Training for Image Denoising
von: Alawode, Basit O., et al.
Veröffentlicht: (2021)

SUICA: Learning Super-high Dimensional Sparse Implicit Neural Representations for Spatial Transcriptomics
von: Zhu, Qingtian, et al.
Veröffentlicht: (2024)