Copertina

FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Xu, Chenrui, Yan, Wenjing, Zhang, Ying-Jun Angela
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Problem-Parameter-Free Decentralized Bilevel Optimization
di: Zhai, Zhiwei, et al.
Pubblicazione: (2025)

Feature Resemblance: Towards a Theoretical Understanding of Analogical Reasoning in Transformers
di: Xu, Ruichen, et al.
Pubblicazione: (2026)

DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
di: Kim, Jihwan, et al.
Pubblicazione: (2026)

On the Spectral Structure and Objective Equivalence of Orthogonal Multilabel Fisher Discriminants
di: Keith-Norambuena, Brian, et al.
Pubblicazione: (2026)

TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
di: Cheng, Peng, et al.
Pubblicazione: (2026)

AuON: A Linear-time Alternative to Orthogonal Momentum Updates
di: Maity, Dipan
Pubblicazione: (2025)

Structured Difference-of-Q via Orthogonal Learning
di: Cao, Defu, et al.
Pubblicazione: (2024)

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
di: Garg, Ishir, et al.
Pubblicazione: (2026)

AdaFisher: Adaptive Second Order Optimization via Fisher Information
di: Gomes, Damien Martins, et al.
Pubblicazione: (2024)

Beyond the Mean: Fisher-Orthogonal Projection for Natural Gradient Descent in Large Batch Training
di: Lu, Yishun, et al.
Pubblicazione: (2025)

Decentralized Multi-Task Online Convex Optimization Under Random Link Failures
di: Yan, Wenjing, et al.
Pubblicazione: (2024)

Orthogonalized Policy Optimization:Policy Optimization as Orthogonal Projection in Hilbert Space
di: Zixian, Wang
Pubblicazione: (2026)

Decoupled Orthogonal Dynamics: Regularization for Deep Network Optimizers
di: Chen, Hao, et al.
Pubblicazione: (2026)

Multi-Objective Optimization via Wasserstein-Fisher-Rao Gradient Flow
di: Ren, Yinuo, et al.
Pubblicazione: (2023)

Dynamic Momentum Recalibration in Online Gradient Learning
di: Yao, Zhipeng, et al.
Pubblicazione: (2026)

Group Orthogonalized Policy Optimization:Group Policy Optimization as Orthogonal Projection in Hilbert Space
di: Zixian, Wang
Pubblicazione: (2026)

AMO: Adaptive Muon Orthogonalization
di: Zhuang, Xinlin, et al.
Pubblicazione: (2026)

Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models
di: Wang, Yuxiao, et al.
Pubblicazione: (2025)

Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
di: Xie, Xingyu, et al.
Pubblicazione: (2022)

Bridging Training and Merging Through Momentum-Aware Optimization
di: Moayedikia, Alireza, et al.
Pubblicazione: (2025)

Random Scaling and Momentum for Non-smooth Non-convex Optimization
di: Zhang, Qinzi, et al.
Pubblicazione: (2024)

Transition Flow Matching
di: Ma, Chenrui
Pubblicazione: (2026)

Stochastic Difference-of-Convex Optimization with Momentum
di: Chayti, El Mahdi, et al.
Pubblicazione: (2025)

DeMo: Decoupled Momentum Optimization
di: Peng, Bowen, et al.
Pubblicazione: (2024)

On the Limits of Momentum in Decentralized and Federated Optimization
di: Zaccone, Riccardo, et al.
Pubblicazione: (2025)

Feature Selection Based on Orthogonal Constraints and Polygon Area
di: Zhang, Zhenxing, et al.
Pubblicazione: (2024)

FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
di: Yan, Peishen, et al.
Pubblicazione: (2026)

Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation
di: Hu, Zihao, et al.
Pubblicazione: (2025)

ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
di: Schröder, Maresa, et al.
Pubblicazione: (2026)

Outer-Momentum Restarting in High-Dimensional Two-Phase Optimization
di: Topollai, Kristi, et al.
Pubblicazione: (2026)

Optimizing the Adversarial Perturbation with a Momentum-based Adaptive Matrix
di: Tao, Wei, et al.
Pubblicazione: (2025)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
di: Liu, Wei, et al.
Pubblicazione: (2025)

On the Performance Analysis of Momentum Method: A Frequency Domain Perspective
di: Li, Xianliang, et al.
Pubblicazione: (2024)

Orthogonal Self-Attention
di: Zhang, Leo, et al.
Pubblicazione: (2026)

Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension
di: Gong, Wenbo, et al.
Pubblicazione: (2025)

Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
di: Xu, Cong, et al.
Pubblicazione: (2023)

Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test
di: Li, Ziyue, et al.
Pubblicazione: (2025)

AdamFLIP: Adaptive Momentum Feedback Linearization Optimization for Hard Constrained PINN Training
di: Lu, Binghang, et al.
Pubblicazione: (2026)

OMPQ: Orthogonal Mixed Precision Quantization
di: Ma, Yuexiao, et al.
Pubblicazione: (2021)

Shuffling Momentum Gradient Algorithm for Convex Optimization
di: Tran, Trang H., et al.
Pubblicazione: (2024)