Buchumschlag

Saddle-to-Saddle Dynamics Explains A Simplicity Bias Across Neural Network Architectures

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Yedi, Saxe, Andrew, Latham, Peter E.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

When Are Bias-Free ReLU Networks Effectively Linear Networks?
von: Zhang, Yedi, et al.
Veröffentlicht: (2024)

Understanding Unimodal Bias in Multimodal Deep Linear Networks
von: Zhang, Yedi, et al.
Veröffentlicht: (2023)

Training Dynamics of In-Context Learning in Linear Attention
von: Zhang, Yedi, et al.
Veröffentlicht: (2025)

Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
von: Bantzis, Ioannis, et al.
Veröffentlicht: (2025)

Neural Network-based High-index Saddle Dynamics Method for Searching Saddle Points and Solution Landscape
von: Liu, Yuankai, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks
von: Corlouer, Guillaume, et al.
Veröffentlicht: (2026)

Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks
von: Zhang, Leyang, et al.
Veröffentlicht: (2024)

Plateaus, Optima, and Overfitting in Multi-Layer Perceptrons: A Saddle-Saddle-Attractor Scenario
von: Maleknia, Alex Alì, et al.
Veröffentlicht: (2026)

Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks
von: Oldewage, Elre T., et al.
Veröffentlicht: (2023)

Directional Convergence Near Small Initializations and Saddles in Two-Homogeneous Neural Networks
von: Kumar, Akshay, et al.
Veröffentlicht: (2024)

A Theory of Saddle Escape in Deep Nonlinear Networks
von: Rawal, Divit, et al.
Veröffentlicht: (2026)

Regret Minimization via Saddle Point Optimization
von: Kirschner, Johannes, et al.
Veröffentlicht: (2024)

Dimension-Free Saddle-Point Escape in Muon
von: Long, Yanlin, et al.
Veröffentlicht: (2026)

Federated Composite Saddle Point Optimization
von: Bai, Site, et al.
Veröffentlicht: (2023)

Hierarchical Simplicity Bias of Neural Networks
von: Du, Zhehang
Veröffentlicht: (2023)

Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2025)

Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
von: Wu, Frank Zhengqing, et al.
Veröffentlicht: (2024)

Saddle Networks: Structure-Preserving Architectures for Convex-Concave Functions
von: Warin, Xavier
Veröffentlicht: (2026)

Saddle Hierarchy in Dense Associative Memory
von: Thériault, Robin, et al.
Veröffentlicht: (2025)

Never Saddle for Reparameterized Steepest Descent as Mirror Flow
von: Jacobs, Tom, et al.
Veröffentlicht: (2026)

Quantization Avoids Saddle Points in Distributed Optimization
von: Bo, Yanan, et al.
Veröffentlicht: (2024)

Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
von: Hu, Yue, et al.
Veröffentlicht: (2025)

Inertial Newton Algorithms Avoiding Strict Saddle Points
von: Castera, Camille
Veröffentlicht: (2021)

Proximal Point Method for Online Saddle Point Problem
von: Meng, Qing-xin, et al.
Veröffentlicht: (2024)

Efficiently Escaping Saddle Points for Policy Optimization
von: Khorasani, Sadegh, et al.
Veröffentlicht: (2023)

A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization
von: Gan, Min, et al.
Veröffentlicht: (2025)

Only Strict Saddles in the Energy Landscape of Predictive Coding Networks?
von: Innocenti, Francesco, et al.
Veröffentlicht: (2024)

Simultaneous Learning and Optimization via Misspecified Saddle Point Problems
von: Ahmadi, Mohammad Mahdi, et al.
Veröffentlicht: (2025)

Do Quantum Neural Networks have Simplicity Bias?
von: Pointing, Jessica
Veröffentlicht: (2024)

Optimal Learning Rate Schedule for Balancing Effort and Performance
von: Njaradi, Valentina, et al.
Veröffentlicht: (2026)

Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
von: Yamamoto, Naoya, et al.
Veröffentlicht: (2025)

Algorithm Development in Neural Networks: Insights from the Streaming Parity Task
von: van Rossem, Loek, et al.
Veröffentlicht: (2025)

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)

Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
von: Vyas, Abhijeet, et al.
Veröffentlicht: (2026)

Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
von: Zheng, Zihao, et al.
Veröffentlicht: (2026)

A Compression Perspective on Simplicity Bias
von: Marty, Tom, et al.
Veröffentlicht: (2026)

WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points
von: Li, Dongyue, et al.
Veröffentlicht: (2026)

Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity
von: Cao, Daniel Yiming, et al.
Veröffentlicht: (2025)

Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
von: Huang, Minhui, et al.
Veröffentlicht: (2021)