Buchumschlag

On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wenger, Jonathan, Dangel, Felix, Kristiadi, Agustinus
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Introduction to the Analysis of Probabilistic Decision-Making Algorithms
von: Kristiadi, Agustinus
Veröffentlicht: (2025)

Position: Curvature Matrices Should Be Democratized via Linear Operators
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Limits of PRM-Guided Tree Search for Mathematical Reasoning with LLMs
von: Cinquin, Tristan, et al.
Veröffentlicht: (2025)

Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC
von: Lin, Wu, et al.
Veröffentlicht: (2023)

Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks
von: Rashid, Ahmad, et al.
Veröffentlicht: (2023)

Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods
von: Dangel, Felix
Veröffentlicht: (2023)

FlashMD: long-stride, universal prediction of molecular dynamics
von: Bigi, Filippo, et al.
Veröffentlicht: (2025)

Low-Rank Filtering and Smoothing for Sequential Deep Learning
von: Sliwa, Joanna, et al.
Veröffentlicht: (2024)

Adversarial Robustness of NTK Neural Networks
von: Hou, Yuxuan
Veröffentlicht: (2026)

A Critical Look At Tokenwise Reward-Guided Text Generation
von: Rashid, Ahmad, et al.
Veröffentlicht: (2024)

A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?
von: Kristiadi, Agustinus, et al.
Veröffentlicht: (2024)

How Useful is Intermittent, Asynchronous Expert Feedback for Bayesian Optimization?
von: Kristiadi, Agustinus, et al.
Veröffentlicht: (2024)

Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks
von: Dangel, Felix, et al.
Veröffentlicht: (2024)

Towards Cost-Effective Reward Guided Text Generation
von: Rashid, Ahmad, et al.
Veröffentlicht: (2025)

Lowering PyTorch's Memory Consumption for Selective Differentiation
von: Bhatia, Samarth, et al.
Veröffentlicht: (2024)

Uncertainty-Guided Likelihood Tree Search
von: Grosse, Julia, et al.
Veröffentlicht: (2024)

Neural Normalized Compression Distance and the Disconnect Between Compression and Classification
von: Hurwitz, John, et al.
Veröffentlicht: (2024)

Understanding NTK Variance in Implicit Neural Representations
von: Ou, Chengguang, et al.
Veröffentlicht: (2025)

Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels
von: Tian, Yong-Ming, et al.
Veröffentlicht: (2025)

Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens
von: Nikolaou, Konstantin, et al.
Veröffentlicht: (2025)

Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime
von: Marreddy, Ruchirinkil, et al.
Veröffentlicht: (2026)

NTK-Guided Implicit Neural Teaching
von: Zhang, Chen, et al.
Veröffentlicht: (2025)

Efficient Bilevel Optimization with KFAC-Based Hypergradients
von: Liao, Disen, et al.
Veröffentlicht: (2026)

Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
von: Yang, Hongru, et al.
Veröffentlicht: (2023)

Training NTK to Generalize with KARE
von: Schwab, Johannes, et al.
Veröffentlicht: (2025)

Richer Bayesian Last Layers with Subsampled NTK Features
von: Calvo-Ordoñez, Sergio, et al.
Veröffentlicht: (2026)

Understanding Linear Probing then Fine-tuning Language Models from NTK Perspective
von: Tomihari, Akiyoshi, et al.
Veröffentlicht: (2024)

What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis
von: Ormaniec, Weronika, et al.
Veröffentlicht: (2024)

Shortcut Features as Top Eigenfunctions of NTK: A Linear Neural Network Case and More
von: Lim, Jinwoo, et al.
Veröffentlicht: (2026)

Better NTK Conditioning: A Free Lunch from (ReLU) Nonlinear Activation in Wide Neural Networks
von: Liu, Chaoyue, et al.
Veröffentlicht: (2023)

Hide & Seek: Transformer Symmetries Obscure Sharpness & Riemannian Geometry Finds It
von: da Silva, Marvin F., et al.
Veröffentlicht: (2025)

Kronecker-factored Approximate Curvature (KFAC) From Scratch
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

Collapsing Taylor Mode Automatic Differentiation
von: Dangel, Felix, et al.
Veröffentlicht: (2025)

MLPs at the EOC: Spectrum of the NTK
von: Terjék, Dávid, et al.
Veröffentlicht: (2025)

MLPs at the EOC: Concentration of the NTK
von: Terjék, Dávid, et al.
Veröffentlicht: (2025)

Computation-Aware Kalman Filtering with Model Selection for Neural Dynamics
von: Huml, JR, et al.
Veröffentlicht: (2026)

Kolmogorov Arnold Networks in Fraud Detection: Bridging the Gap Between Theory and Practice
von: Lu, Yang, et al.
Veröffentlicht: (2024)

Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations
von: Kim, Hyunjun
Veröffentlicht: (2026)

Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization
von: Guzmán-Cordero, Andrés, et al.
Veröffentlicht: (2025)

Fishers for Free? Approximating the Fisher Information Matrix by Recycling the Squared Gradient Accumulator
von: Li, YuXin, et al.
Veröffentlicht: (2025)