Buchumschlag

Optimal Shrinkage for Distributed Second-Order Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Fangzhao, Pilanci, Mert
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing
von: Romanov, Elad, et al.
Veröffentlicht: (2024)

Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes
von: Zhang, Erica, et al.
Veröffentlicht: (2024)

Optimizer-Induced Mode Connectivity: From AdamW to Muon
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2026)

Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time
von: Kim, Sungyoon, et al.
Veröffentlicht: (2024)

Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
von: Kuelbs, Daniel, et al.
Veröffentlicht: (2024)

From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
von: Pilanci, Mert
Veröffentlicht: (2023)

A Recovery Guarantee for Sparse Neural Networks
von: Fridovich-Keil, Sara, et al.
Veröffentlicht: (2025)

Second-Order Subdifferential Optimality Conditions in Nonsmooth Optimization
von: Khanh, Pham Duy, et al.
Veröffentlicht: (2023)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks
von: Feng, Miria, et al.
Veröffentlicht: (2024)

Near-Optimal Distributed Minimax Optimization under the Second-Order Similarity
von: Zhou, Qihao, et al.
Veröffentlicht: (2024)

Solving Large Multicommodity Network Flow Problems on GPUs
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2025)

Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

Second-Order Optimization via Quiescence
von: Agarwal, Aayushya, et al.
Veröffentlicht: (2024)

Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints (MPECs): Second-Order Optimality Conditions
von: Yu, Jiguang
Veröffentlicht: (2026)

A Homogeneous Second-Order Descent Method for Nonconvex Optimization
von: Zhang, Chuwen, et al.
Veröffentlicht: (2022)

Randomized Geometric Algebra Methods for Convex Neural Networks
von: Wang, Yifei, et al.
Veröffentlicht: (2024)

Second-Order Bilevel Optimization with Accelerated Convergence Rates
von: Yang, Sheng, et al.
Veröffentlicht: (2026)

Second-Order Necessary Optimality Conditions for Multi-Objective Optimal Control Problems on Riemannian Manifolds
von: Deng, Li
Veröffentlicht: (2025)

Optimal Zeroth-Order Bilevel Optimization
von: Aghasi, Alireza, et al.
Veröffentlicht: (2025)

Vectorized Sparse Second-Order Forward Automatic Differentiation for Optimal Control Direct Methods
von: Zou, Yilin, et al.
Veröffentlicht: (2025)

Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers
von: Tzikas, Alexandros E., et al.
Veröffentlicht: (2024)

Distributed Optimization Method Based On Optimal Control
von: Guo, Ziyuan, et al.
Veröffentlicht: (2024)

Scalable Second-Order Optimization Algorithms for Minimizing Low-rank Functions
von: Tansley, Edward, et al.
Veröffentlicht: (2025)

First- and Second-Order Analysis for Optimization Problems with Manifold-Valued Constraints
von: Bergmann, Ronny, et al.
Veröffentlicht: (2021)

INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
von: Kumar, Krishan, et al.
Veröffentlicht: (2025)

Randomized Subspace Derivative-Free Optimization with Quadratic Models and Second-Order Convergence
von: Cartis, Coralia, et al.
Veröffentlicht: (2024)

Second-Order Constrained Dynamic Optimization
von: Aoyama, Yuichiro, et al.
Veröffentlicht: (2024)

An Invitation to Higher-Order Riemannian Optimization: Optimal and Implementable Methods
von: Gutman, David Huckleberry, et al.
Veröffentlicht: (2026)

A Split-Client Approach to Second-Order Optimization
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

AdaFisher: Adaptive Second Order Optimization via Fisher Information
von: Gomes, Damien Martins, et al.
Veröffentlicht: (2024)

Linear Complementarity Problem on the Monotone Extended Second Order Cone
von: Gao, Yingchao, et al.
Veröffentlicht: (2022)

Compressing Large Language Models using Low Rank and Low Precision Decomposition
von: Saha, Rajarshi, et al.
Veröffentlicht: (2024)

A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
von: Dimou, Nikos, et al.
Veröffentlicht: (2026)

An Error Analysis of Second Order Elliptic Optimal Control Problem via Hybrid Higher Order Methods
von: Mallik, Gouranga, et al.
Veröffentlicht: (2025)

Spectral Adapter: Fine-Tuning in Spectral Space
von: Zhang, Fangzhao, et al.
Veröffentlicht: (2024)

An Optimal Control Interpretation of Augmented Distributed Optimization Algorithms
von: Hallinan, Liam, et al.
Veröffentlicht: (2025)

Compressed Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
von: Wang, Haonan, et al.
Veröffentlicht: (2025)