Buchumschlag

Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yang, Hongru, Jiang, Ziyu, Zhang, Ruizhe, Liang, Yingbin, Wang, Zhangyang
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
von: Yang, Hongru, et al.
Veröffentlicht: (2024)

Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime
von: Marreddy, Ruchirinkil, et al.
Veröffentlicht: (2026)

How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias
von: Huang, Ruiquan, et al.
Veröffentlicht: (2025)

Adversarial Robustness of NTK Neural Networks
von: Hou, Yuxuan
Veröffentlicht: (2026)

Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks
von: Chen, Ke, et al.
Veröffentlicht: (2024)

Race, Ethnicity and Their Implication on Bias in Large Language Models
von: Hu, Shiyue, et al.
Veröffentlicht: (2026)

Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels
von: Tian, Yong-Ming, et al.
Veröffentlicht: (2025)

Sparse Mixture-of-Experts for Compositional Generalization: Empirical Evidence and Theoretical Foundations of Optimal Sparsity
von: Zhao, Jinze, et al.
Veröffentlicht: (2024)

A Tighter Complexity Analysis of SparseGPT
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
von: Hazelden, James, et al.
Veröffentlicht: (2026)

Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study
von: Zhao, Jinze, et al.
Veröffentlicht: (2024)

Rethinking PGD Attack: Is Sign Function Necessary?
von: Yang, Junjie, et al.
Veröffentlicht: (2023)

Better NTK Conditioning: A Free Lunch from (ReLU) Nonlinear Activation in Wide Neural Networks
von: Liu, Chaoyue, et al.
Veröffentlicht: (2023)

Eigenspectrum Analysis of Neural Networks without Aspect Ratio Bias
von: Hu, Yuanzhe, et al.
Veröffentlicht: (2025)

Mitigating Degree Bias in Signed Graph Neural Networks
von: He, Fang, et al.
Veröffentlicht: (2024)

Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Meta ControlNet: Enhancing Task Adaptation via Meta Learning
von: Yang, Junjie, et al.
Veröffentlicht: (2023)

Training NTK to Generalize with KARE
von: Schwab, Johannes, et al.
Veröffentlicht: (2025)

Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
von: Liang, Shuang, et al.
Veröffentlicht: (2024)

Exploring Topological Bias in Heterogeneous Graph Neural Networks
von: Zhang, Yihan
Veröffentlicht: (2025)

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses
von: Xu, Xin, et al.
Veröffentlicht: (2025)

NTK-Guided Implicit Neural Teaching
von: Zhang, Chen, et al.
Veröffentlicht: (2025)

On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective
von: Wenger, Jonathan, et al.
Veröffentlicht: (2023)

Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization
von: Chen, Xuxi, et al.
Veröffentlicht: (2024)

Understanding NTK Variance in Implicit Neural Representations
von: Ou, Chengguang, et al.
Veröffentlicht: (2025)

R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference
von: Zhang, Zhenyu, et al.
Veröffentlicht: (2025)

Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens
von: Nikolaou, Konstantin, et al.
Veröffentlicht: (2025)

Anchored Answers: Unravelling Positional Bias in GPT-2's Multiple-Choice Questions
von: Li, Ruizhe, et al.
Veröffentlicht: (2024)

Learning Neural Networks with Sparse Activations
von: Awasthi, Pranjal, et al.
Veröffentlicht: (2024)

How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers
von: Buzaglo, Gon, et al.
Veröffentlicht: (2024)

Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach
von: Fu, Shaopeng, et al.
Veröffentlicht: (2023)

Comparing Methods for Bias Mitigation in Graph Neural Networks
von: Hoffmann, Barbara, et al.
Veröffentlicht: (2025)

A Critical Review of Predominant Bias in Neural Networks
von: Li, Jiazhi, et al.
Veröffentlicht: (2025)

Should Bias be Eliminated? A General Framework to Use Bias for OOD Generalization
von: Li, Yan, et al.
Veröffentlicht: (2025)

Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning
von: Wang, Peihao, et al.
Veröffentlicht: (2025)

Hierarchical Simplicity Bias of Neural Networks
von: Du, Zhehang
Veröffentlicht: (2023)

Training Instabilities Induce Flatness Bias in Gradient Descent
von: Wang, Lawrence, et al.
Veröffentlicht: (2025)

The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
von: Gronich, Eitan, et al.
Veröffentlicht: (2026)

Rethinking Inductive Bias in Geographically Neural Network Weighted Regression
von: Chen, Zhenyuan
Veröffentlicht: (2025)

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
von: Lai, Kuo-Wei, et al.
Veröffentlicht: (2026)