Buchumschlag

Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bylinkin, Dmitry, Aleksandrov, Mikhail, Chezhegov, Savelii, Beznosikov, Aleksandr
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2026)

Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement
von: Trifonov, Stepan, et al.
Veröffentlicht: (2025)

Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
von: Sadchikov, Andrey, et al.
Veröffentlicht: (2024)

Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Accelerated Stochastic Gradient Method with Applications to Consensus Problem in Markov-Varying Networks
von: Solodkin, Vladimir, et al.
Veröffentlicht: (2024)

Decentralized Finite-Sum Optimization over Time-Varying Networks
von: Metelev, Dmitry, et al.
Veröffentlicht: (2024)

Accelerated Methods with Complexity Separation Under Data Similarity for Federated Learning Problems
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2026)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Local Methods with Adaptivity via Scaling
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
von: Khah, Saleh Vatan, et al.
Veröffentlicht: (2025)

Random-reshuffled SARAH does not need a full gradient computations
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

Bregman Proximal Method for Efficient Communications under Similarity
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)

Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting
von: Ustimenko, Aleksei, et al.
Veröffentlicht: (2023)

Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2024)

Stochastic Gradient Methods with Preconditioned Updates
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2022)

Federated Composite Saddle Point Optimization
von: Bai, Site, et al.
Veröffentlicht: (2023)

Proximal Point Method for Online Saddle Point Problem
von: Meng, Qing-xin, et al.
Veröffentlicht: (2024)

Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity
von: Prokhorov, Boris, et al.
Veröffentlicht: (2026)

Optimal Data Splitting in Distributed Optimization for Machine Learning
von: Medyakov, Daniil, et al.
Veröffentlicht: (2024)

Quantization Avoids Saddle Points in Distributed Optimization
von: Bo, Yanan, et al.
Veröffentlicht: (2024)

Hierarchical Mixture-of-Experts with Two-Stage Optimization
von: Molodtsov, Gleb, et al.
Veröffentlicht: (2026)

Inertial Newton Algorithms Avoiding Strict Saddle Points
von: Castera, Camille
Veröffentlicht: (2021)

Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks
von: Jnini, Anas, et al.
Veröffentlicht: (2025)

WeightLoRA: Keep Only Necessary Adapters
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Where Does Warm-Up Come From? Adaptive Scheduling for Norm-Constrained Optimizers
von: Riabinin, Artem, et al.
Veröffentlicht: (2026)

Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks
von: Zhang, Leyang, et al.
Veröffentlicht: (2024)

Directional Convergence Near Small Initializations and Saddles in Two-Homogeneous Neural Networks
von: Kumar, Akshay, et al.
Veröffentlicht: (2024)

Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
von: Veprikov, Andrey, et al.
Veröffentlicht: (2025)

Simultaneous Learning and Optimization via Misspecified Saddle Point Problems
von: Ahmadi, Mohammad Mahdi, et al.
Veröffentlicht: (2025)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Relaxation-Informed Training of Neural Network Surrogate Models
von: Tsay, Calvin
Veröffentlicht: (2026)

Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
von: Yamamoto, Naoya, et al.
Veröffentlicht: (2025)