Buchumschlag

Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Jim, Singh, Sidak Pal, Lucchi, Aurelien
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Cubic regularized subspace Newton for non-convex optimization
von: Zhao, Jim, et al.
Veröffentlicht: (2024)

Some Fundamental Aspects about Lipschitz Continuity of Neural Networks
von: Khromov, Grigory, et al.
Veröffentlicht: (2023)

Accelerating Neural Network Training Along Sharp and Flat Directions
von: Zakarin, Daniyar, et al.
Veröffentlicht: (2025)

What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis
von: Ormaniec, Weronika, et al.
Veröffentlicht: (2024)

Optimizer choice matters for the emergence of Neural Collapse
von: Zhao, Jim, et al.
Veröffentlicht: (2026)

Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy
von: Singh, Sidak Pal, et al.
Veröffentlicht: (2024)

A Theoretical Analysis of the Learning Dynamics under Class Imbalance
von: Francazi, Emanuele, et al.
Veröffentlicht: (2022)

Why Do We Need Warm-up? A Theoretical Perspective
von: Alimisis, Foivos, et al.
Veröffentlicht: (2025)

Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
von: Bozic, Vukasin, et al.
Veröffentlicht: (2023)

Exact Gauss-Newton Optimization for Training Deep Neural Networks
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks
von: Adeoye, Adeyemi D., et al.
Veröffentlicht: (2024)

Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence
von: Tailor, Dharmesh, et al.
Veröffentlicht: (2025)

Avoiding spurious sharpness minimization broadens applicability of SAM
von: Singh, Sidak Pal, et al.
Veröffentlicht: (2025)

Selective Forgetting in Option Calibration: An Operator-Theoretic Gauss-Newton Framework
von: Özsoy, Ahmet Umur
Veröffentlicht: (2025)

Local vs Global continual learning
von: Lanzillotta, Giulia, et al.
Veröffentlicht: (2024)

Initial Guessing Bias: How Untrained Networks Favor Some Classes
von: Francazi, Emanuele, et al.
Veröffentlicht: (2023)

Gauss-Newton Unlearning for the LLM Era
von: McKinney, Lev, et al.
Veröffentlicht: (2026)

Adaptive Methods through the Lens of SDEs: Theoretical Insights on the Role of Noise
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2024)

Error whitening: Why Gauss-Newton outperforms Newton
von: McKay, Maricela Best, et al.
Veröffentlicht: (2026)

Landscaping Linear Mode Connectivity
von: Singh, Sidak Pal, et al.
Veröffentlicht: (2024)

Generalized Linear Mode Connectivity for Transformers
von: Theus, Alexander, et al.
Veröffentlicht: (2025)

Transformer Fusion with Optimal Transport
von: Imfeld, Moritz, et al.
Veröffentlicht: (2023)

A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
von: Cayci, Semih
Veröffentlicht: (2024)

Fast Gauss-Newton for Multiclass Cross-Entropy
von: Korbit, Mikalai, et al.
Veröffentlicht: (2026)

Incremental Gauss-Newton Descent for Machine Learning
von: Korbit, Mikalai, et al.
Veröffentlicht: (2024)

Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum
von: Cheng, Tin Sum, et al.
Veröffentlicht: (2024)

A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression
von: Cheng, Tin Sum, et al.
Veröffentlicht: (2024)

A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
von: Cai, Zhiqiang, et al.
Veröffentlicht: (2024)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Incremental Gauss--Newton Methods with Superlinear Convergence Rates
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

Gauss-Newton Natural Gradient Descent for Shape Learning
von: King, James, et al.
Veröffentlicht: (2026)

Unbiased and Sign Compression in Distributed Learning: Comparing Noise Resilience via SDEs
von: Compagnoni, Enea Monzio, et al.
Veröffentlicht: (2025)

Towards Meta-Pruning via Optimal Transport
von: Theus, Alexander, et al.
Veröffentlicht: (2024)

A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
von: Mishra, Neel, et al.
Veröffentlicht: (2024)

Stein Variational Newton Neural Network Ensembles
von: Flöge, Klemens, et al.
Veröffentlicht: (2024)

Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
von: Kumar, Navish, et al.
Veröffentlicht: (2025)

Gradient Scalability and Taylor Surrogation of Quantum Cost Landscapes
von: Meyer, Sabri, et al.
Veröffentlicht: (2025)

Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
von: Ke, Zhifa, et al.
Veröffentlicht: (2023)

A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion
von: Liu, Xiaoqian, et al.
Veröffentlicht: (2023)