Buchumschlag

Dion: Distributed Orthonormalized Updates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ahn, Kwangjun, Xu, Byron, Abreu, Natalie, Fan, Ying, Magakyan, Gagik, Sharma, Pratyusha, Zhan, Zheng, Langford, John
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

How to escape sharp minima with random perturbations
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2023)

Through the River: Understanding the Benefit of Schedule-Free Methods for Language Model Training
von: Song, Minhak, et al.
Veröffentlicht: (2025)

Linear attention is (maybe) all you need (to understand transformer optimization)
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2023)

Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Adam with model exponential moving average is effective for nonconvex optimization
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2024)

Does SGD really happen in tiny subspaces?
von: Song, Minhak, et al.
Veröffentlicht: (2024)

Efficient Joint Prediction of Multiple Future Tokens
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2025)

CurvaDion: Curvature-Adaptive Distributed Orthonormalization
von: Kumar, Bhavesh, et al.
Veröffentlicht: (2025)

Policy Gradient Methods for Risk-Sensitive Distributional Reinforcement Learning with Provable Convergence
von: Xiao, Minheng, et al.
Veröffentlicht: (2024)

Dion2: A Simple Method to Shrink Matrix in Muon
von: Ahn, Kwangjun, et al.
Veröffentlicht: (2025)

Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
von: Jing, Gangshan, et al.
Veröffentlicht: (2021)

Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning
von: Mitra, Aritra, et al.
Veröffentlicht: (2023)

Global Convergence of Multiplicative Updates for the Matrix Mechanism: A Collaborative Proof with Gemini 3
von: Rush, Keith
Veröffentlicht: (2026)

Delightful Distributed Policy Gradient
von: Osband, Ian
Veröffentlicht: (2026)

Differentiable Distributionally Robust Optimization Layers
von: Ma, Xutao, et al.
Veröffentlicht: (2024)

A Median Perspective on Unlabeled Data for Out-of-Distribution Detection
von: Abbas, Momin, et al.
Veröffentlicht: (2025)

Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks
von: Liu, Xin, et al.
Veröffentlicht: (2022)

Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis
von: Jiao, Yang, et al.
Veröffentlicht: (2023)

Nash Equilibria, Regularization and Computation in Optimal Transport-Based Distributionally Robust Optimization
von: Shafiee, Soroosh, et al.
Veröffentlicht: (2023)

Contextual Distributionally Robust Optimization with Causal and Continuous Structure: An Interpretable and Tractable Approach
von: Zhang, Fenglin, et al.
Veröffentlicht: (2026)

DR-SAC: Distributionally Robust Soft Actor-Critic for Reinforcement Learning under Uncertainty
von: Cui, Mingxuan, et al.
Veröffentlicht: (2025)

Parameter-Efficient Distributional RL via Normalizing Flows and a Geometry-Aware Cramér Surrogate
von: C., Simo Alami, et al.
Veröffentlicht: (2025)

Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity
von: Nguyen, Quan, et al.
Veröffentlicht: (2024)

Closing the Loop: Coordinating Inventory and Recommendation via Deep Reinforcement Learning on Multiple Timescales
von: Jiang, Jinyang, et al.
Veröffentlicht: (2025)

Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling
von: Adibi, Arman, et al.
Veröffentlicht: (2024)

Distributionally Robust Safety Verification of Neural Networks via Worst-Case CVaR
von: Kishida, Masako
Veröffentlicht: (2025)

What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness
von: Patel, Kumar Kshitij
Veröffentlicht: (2025)

Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
von: Zheng, Zihao, et al.
Veröffentlicht: (2026)

A Deep Q-Network Based on Radial Basis Functions for Multi-Echelon Inventory Management
von: Cheng, Liqiang, et al.
Veröffentlicht: (2024)

Data Collaboration Analysis with Orthonormal Basis Selection and Alignment
von: Nosaka, Keiyu, et al.
Veröffentlicht: (2024)

Safety-Aware Reinforcement Learning for Electric Vehicle Charging Station Management in Distribution Network
von: Fan, Jiarong, et al.
Veröffentlicht: (2024)

Stochastic Optimization of Inventory at Large-scale Supply Chains
von: Jin, Zhaoyang Larry, et al.
Veröffentlicht: (2025)

Deep Reinforcement Learning for Solving the Fleet Size and Mix Vehicle Routing Problem
von: Wan, Pengfu, et al.
Veröffentlicht: (2025)

On Finding Small Hyper-Gradients in Bilevel Optimization: Hardness Results and Improved Analysis
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
von: Xu, Conglong, et al.
Veröffentlicht: (2025)

Deep Reinforcement Learning for Traveling Purchaser Problems
von: Yuan, Haofeng, et al.
Veröffentlicht: (2024)

Constructing Industrial-Scale Optimization Modeling Benchmark
von: Li, Zhong, et al.
Veröffentlicht: (2026)

One-Layer Transformer Provably Learns One-Nearest Neighbor In Context
von: Li, Zihao, et al.
Veröffentlicht: (2024)

Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks
von: Qin, Zhen, et al.
Veröffentlicht: (2023)