Copertina

Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Fu, Shaopeng, Wang, Di
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Benign Overfitting in Adversarial Training for Vision Transformers
di: Zhang, Jiaming, et al.
Pubblicazione: (2026)

Takeuchi's Information Criteria as Generalization Measures for DNNs Close to NTK Regime
di: Naganuma, Hiroki, et al.
Pubblicazione: (2026)

Adversarial Robustness of NTK Neural Networks
di: Hou, Yuxuan
Pubblicazione: (2026)

Understanding and Improving Continuous Adversarial Training for LLMs via In-context Learning Theory
di: Fu, Shaopeng, et al.
Pubblicazione: (2026)

Short-length Adversarial Training Helps LLMs Defend Long-length Jailbreak Attacks: Theoretical and Empirical Evidence
di: Fu, Shaopeng, et al.
Pubblicazione: (2025)

Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics
di: Avidan, Yehonatan, et al.
Pubblicazione: (2023)

Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime
di: Marreddy, Ruchirinkil, et al.
Pubblicazione: (2026)

Training NTK to Generalize with KARE
di: Schwab, Johannes, et al.
Pubblicazione: (2025)

Better NTK Conditioning: A Free Lunch from (ReLU) Nonlinear Activation in Wide Neural Networks
di: Liu, Chaoyue, et al.
Pubblicazione: (2023)

Overfitting in Adaptive Robust Optimization
di: Zhu, Karl, et al.
Pubblicazione: (2025)

How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features
di: Bombari, Simone, et al.
Pubblicazione: (2023)

On the Clean Generalization and Robust Overfitting in Adversarial Training from Two Theoretical Views: Representation Complexity and Training Dynamics
di: Li, Binghui, et al.
Pubblicazione: (2023)

MLPs at the EOC: Spectrum of the NTK
di: Terjék, Dávid, et al.
Pubblicazione: (2025)

MLPs at the EOC: Concentration of the NTK
di: Terjék, Dávid, et al.
Pubblicazione: (2025)

Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency
di: Lin, Runqi, et al.
Pubblicazione: (2024)

CEAR: Certified Ensemble Adversarial Robustness in DNNs
di: Sadig, Daniel, et al.
Pubblicazione: (2026)

Understanding NTK Variance in Implicit Neural Representations
di: Ou, Chengguang, et al.
Pubblicazione: (2025)

Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
di: Yang, Hongru, et al.
Pubblicazione: (2023)

On the Over-Memorization During Natural, Robust and Catastrophic Overfitting
di: Lin, Runqi, et al.
Pubblicazione: (2023)

Understanding Robust Overfitting from the Feature Generalization Perspective
di: Yu, Chaojian, et al.
Pubblicazione: (2023)

Supporting Safety Analysis of Image-processing DNNs through Clustering-based Approaches
di: Attaoui, Mohammed Oualid, et al.
Pubblicazione: (2023)

Feature Identification via the Empirical NTK
di: Lin, Jennifer
Pubblicazione: (2025)

Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
di: Laakom, Firas, et al.
Pubblicazione: (2025)

NTK-Guided Implicit Neural Teaching
di: Zhang, Chen, et al.
Pubblicazione: (2025)

Richer Bayesian Last Layers with Subsampled NTK Features
di: Calvo-Ordoñez, Sergio, et al.
Pubblicazione: (2026)

The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness
di: Hao, Yifan, et al.
Pubblicazione: (2024)

Provable Robust Overfitting Mitigation in Wasserstein Distributionally Robust Optimization
di: Liu, Shuang, et al.
Pubblicazione: (2025)

On Hardening DNNs against Noisy Computations
di: Wang, Xiao, et al.
Pubblicazione: (2025)

Testing for Overfitting
di: Schmidt, James
Pubblicazione: (2023)

Curvature-Guided LoRA: Steering in the pretrained NTK subspace
di: Zheng, Frédéric, et al.
Pubblicazione: (2026)

Understanding Private Learning From Feature Perspective
di: Ding, Meng, et al.
Pubblicazione: (2025)

Pre-trained Encoder Inference: Revealing Upstream Encoders In Downstream Machine Learning Services
di: Fu, Shaopeng, et al.
Pubblicazione: (2024)

Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments
di: Jin, Deliang, et al.
Pubblicazione: (2025)

Adjusted Overfitting Regression
di: Wilson, Dylan
Pubblicazione: (2024)

Overfitting In Contrastive Learning?
di: Rabin, Zachary, et al.
Pubblicazione: (2024)

Reactivation: Empirical NTK Dynamics Under Task Shifts
di: Liu, Yuzhi, et al.
Pubblicazione: (2025)

NTK-Guided Few-Shot Class Incremental Learning
di: Liu, Jingren, et al.
Pubblicazione: (2024)

On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective
di: Wenger, Jonathan, et al.
Pubblicazione: (2023)

Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension
di: Karhadkar, Kedar, et al.
Pubblicazione: (2024)

The lazy (NTK) and rich ($μ$P) regimes: a gentle tutorial
di: Karkada, Dhruva
Pubblicazione: (2024)