Buchumschlag

AuON: A Linear-time Alternative to Orthogonal Momentum Updates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Maity, Dipan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SAFE: Stable Alignment Finetuning with Entropy-Aware Predictive Control for Reinforcement Learning from Human Feedback (RLHF)
von: Maity, Dipan
Veröffentlicht: (2026)

Gated-SwinRMT: Unifying Swin Windowed Attention with Retentive Manhattan Decay via Input-Dependent Gating
von: Maity, Dipan, et al.
Veröffentlicht: (2026)

FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer
von: Xu, Chenrui, et al.
Veröffentlicht: (2026)

DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)

Improved Analysis for Sign-based Methods with Momentum Updates
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions
von: Everett, Katie, et al.
Veröffentlicht: (2026)

TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
von: Cheng, Peng, et al.
Veröffentlicht: (2026)

Alada: Alternating Adaptation of Momentum Method for Memory-Efficient Matrix Optimization
von: He, Xiaoyu, et al.
Veröffentlicht: (2025)

AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates
von: Zhang, Minxin, et al.
Veröffentlicht: (2025)

Fundamental Benefit of Alternating Updates in Minimax Optimization
von: Lee, Jaewook, et al.
Veröffentlicht: (2024)

OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain
von: Yue, Wenzhen, et al.
Veröffentlicht: (2025)

Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update
von: Almansoori, Abdulla Jasem, et al.
Veröffentlicht: (2025)

ODICE: Revealing the Mystery of Distribution Correction Estimation via Orthogonal-gradient Update
von: Mao, Liyuan, et al.
Veröffentlicht: (2024)

Generalizing Orthogonalization for Models with Non-Linearities
von: Rügamer, David, et al.
Veröffentlicht: (2024)

Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints
von: Sun, Youbang, et al.
Veröffentlicht: (2024)

MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
von: Huang, Yulong, et al.
Veröffentlicht: (2026)

Two Stage Wireless Federated LoRA Fine-Tuning with Sparsified Orthogonal Updates
von: Kim, Bumjun, et al.
Veröffentlicht: (2025)

AdamFLIP: Adaptive Momentum Feedback Linearization Optimization for Hard Constrained PINN Training
von: Lu, Binghang, et al.
Veröffentlicht: (2026)

Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
von: Maity, Binita, et al.
Veröffentlicht: (2024)

A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems
von: Hytla, Patrick, et al.
Veröffentlicht: (2025)

Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update
von: Wang, Jing, et al.
Veröffentlicht: (2025)

Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update
von: Zhang, Yu-Jie, et al.
Veröffentlicht: (2025)

Practical and Optimal Algorithm for Linear Contextual Bandits with Rare Parameter Updates
von: Yu, Sanghoon, et al.
Veröffentlicht: (2026)

Enhanced Momentum with Momentum Transformers
von: Mason, Max, et al.
Veröffentlicht: (2024)

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks
von: Papazov, Hristo, et al.
Veröffentlicht: (2024)

Logarithmic-time Schedules for Scaling Language Models with Momentum
von: Ferbach, Damien, et al.
Veröffentlicht: (2026)

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
von: Uselis, Arnas, et al.
Veröffentlicht: (2026)

Orthogonal Model Merging
von: Yang, Sihan, et al.
Veröffentlicht: (2026)

Orthogonal Self-Attention
von: Zhang, Leo, et al.
Veröffentlicht: (2026)

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

Apollo-MILP: An Alternating Prediction-Correction Neural Solving Framework for Mixed-Integer Linear Programming
von: Liu, Haoyang, et al.
Veröffentlicht: (2025)

Variational Schrödinger Momentum Diffusion
von: Rojas, Kevin, et al.
Veröffentlicht: (2025)

Momentum Particle Maximum Likelihood
von: Lim, Jen Ning, et al.
Veröffentlicht: (2023)

Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data
von: Liu, Ji, et al.
Veröffentlicht: (2024)

Adam Improves Muon: Adaptive Moment Estimation with Orthogonalized Momentum
von: Zhang, Minxin, et al.
Veröffentlicht: (2026)

AMO: Adaptive Muon Orthogonalization
von: Zhuang, Xinlin, et al.
Veröffentlicht: (2026)

On the Generalization of Stochastic Gradient Descent with Momentum
von: Ramezani-Kebrya, Ali, et al.
Veröffentlicht: (2018)

MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
von: Mozaffari, Mohammad, et al.
Veröffentlicht: (2023)

Torque-Aware Momentum
von: Malviya, Pranshu, et al.
Veröffentlicht: (2024)

Excitation: Momentum For Experts
von: Shaier, Sagi
Veröffentlicht: (2026)