Gespeichert in:
| Hauptverfasser: | Li, Jingru, Fan, Yibo, Li, Huan |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2026
|
| Schlagworte: | |
| Online-Zugang: | https://arxiv.org/abs/2601.14603 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Muon is Provably Faster with Momentum Variance Reduction
von: Qian, Xun, et al.
Veröffentlicht: (2025)
von: Qian, Xun, et al.
Veröffentlicht: (2025)
Adaptive Optimization via Momentum on Variance-Normalized Gradients
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026)
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026)
Accelerating Byzantine-Robust Distributed Learning with Compressed Communication via Double Momentum and Variance Reduction
von: Li, Yanghao, et al.
Veröffentlicht: (2026)
von: Li, Yanghao, et al.
Veröffentlicht: (2026)
Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
von: Cheng, Peng, et al.
Veröffentlicht: (2026)
von: Cheng, Peng, et al.
Veröffentlicht: (2026)
Efficient Backpropagation with Variance-Controlled Adaptive Sampling
von: Wang, Ziteng, et al.
Veröffentlicht: (2024)
von: Wang, Ziteng, et al.
Veröffentlicht: (2024)
Empirical Privacy Variance
von: Hu, Yuzheng, et al.
Veröffentlicht: (2025)
von: Hu, Yuzheng, et al.
Veröffentlicht: (2025)
Global Convergence of Natural Policy Gradient with Hessian-aided Momentum Variance Reduction
von: Feng, Jie, et al.
Veröffentlicht: (2024)
von: Feng, Jie, et al.
Veröffentlicht: (2024)
Accelerating RLHF Training with Reward Variance Increase
von: Yang, Zonglin, et al.
Veröffentlicht: (2025)
von: Yang, Zonglin, et al.
Veröffentlicht: (2025)
Variance-aware Reward Modeling with Anchor Guidance
von: Fang, Shuxing, et al.
Veröffentlicht: (2026)
von: Fang, Shuxing, et al.
Veröffentlicht: (2026)
DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)
von: Kim, Jihwan, et al.
Veröffentlicht: (2026)
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning
von: Luo, Yu, et al.
Veröffentlicht: (2026)
von: Luo, Yu, et al.
Veröffentlicht: (2026)
GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling
von: Chen, Tianhao, et al.
Veröffentlicht: (2025)
von: Chen, Tianhao, et al.
Veröffentlicht: (2025)
On Vanishing Variance in Transformer Length Generalization
von: Li, Ruining, et al.
Veröffentlicht: (2025)
von: Li, Ruining, et al.
Veröffentlicht: (2025)
Variance-Based Pruning for Accelerating and Compressing Trained Networks
von: Berisha, Uranik, et al.
Veröffentlicht: (2025)
von: Berisha, Uranik, et al.
Veröffentlicht: (2025)
The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL
von: Li, Yingru, et al.
Veröffentlicht: (2026)
von: Li, Yingru, et al.
Veröffentlicht: (2026)
VASSO: Variance Suppression for Sharpness-Aware Minimization
von: Li, Bingcong, et al.
Veröffentlicht: (2025)
von: Li, Bingcong, et al.
Veröffentlicht: (2025)
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
von: Sarkar, Krisanu
Veröffentlicht: (2025)
von: Sarkar, Krisanu
Veröffentlicht: (2025)
Practical Efficiency of Muon for Pretraining
von: AI, Essential, et al.
Veröffentlicht: (2025)
von: AI, Essential, et al.
Veröffentlicht: (2025)
EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training
von: Pan, Chengjun, et al.
Veröffentlicht: (2026)
von: Pan, Chengjun, et al.
Veröffentlicht: (2026)
Allocating Variance to Maximize Expectation
von: Leme, Renato Purita Paes, et al.
Veröffentlicht: (2025)
von: Leme, Renato Purita Paes, et al.
Veröffentlicht: (2025)
Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
von: Zeng, Dun, et al.
Veröffentlicht: (2023)
von: Zeng, Dun, et al.
Veröffentlicht: (2023)
Variance-Aware Adaptive Weighting for Diffusion Model Training
von: Sun, Nanlong, et al.
Veröffentlicht: (2026)
von: Sun, Nanlong, et al.
Veröffentlicht: (2026)
Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
von: Jiang, Wei, et al.
Veröffentlicht: (2024)
TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)
On the Role of Preference Variance in Preference Optimization
von: Guo, Jiacheng, et al.
Veröffentlicht: (2025)
von: Guo, Jiacheng, et al.
Veröffentlicht: (2025)
Variance Control via Weight Rescaling in LLM Pre-training
von: Owen, Louis, et al.
Veröffentlicht: (2025)
von: Owen, Louis, et al.
Veröffentlicht: (2025)
Data- and Variance-dependent Regret Bounds for Online Tabular MDPs
von: Li, Mingyi, et al.
Veröffentlicht: (2026)
von: Li, Mingyi, et al.
Veröffentlicht: (2026)
Precise Asymptotics and Refined Regret of Variance-Aware UCB
von: Fan, Yingying, et al.
Veröffentlicht: (2024)
von: Fan, Yingying, et al.
Veröffentlicht: (2024)
Variance-Adaptive Optimal Algorithm for Reinforcement Learning with Multinomial Logit Function Approximation
von: Kim, Wonyoung, et al.
Veröffentlicht: (2026)
von: Kim, Wonyoung, et al.
Veröffentlicht: (2026)
Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning
von: Thakur, Dipanwita, et al.
Veröffentlicht: (2024)
von: Thakur, Dipanwita, et al.
Veröffentlicht: (2024)
Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches
von: Dereziński, Michał
Veröffentlicht: (2022)
von: Dereziński, Michał
Veröffentlicht: (2022)
Quantifying Variance in Evaluation Benchmarks
von: Madaan, Lovish, et al.
Veröffentlicht: (2024)
von: Madaan, Lovish, et al.
Veröffentlicht: (2024)
Variance-Reducing Couplings for Random Features
von: Reid, Isaac, et al.
Veröffentlicht: (2024)
von: Reid, Isaac, et al.
Veröffentlicht: (2024)
Fair CoVariance Neural Networks
von: Cavallo, Andrea, et al.
Veröffentlicht: (2024)
von: Cavallo, Andrea, et al.
Veröffentlicht: (2024)
Zero-Variance Gradients for Variational Autoencoders
von: Shao, Zilei, et al.
Veröffentlicht: (2025)
von: Shao, Zilei, et al.
Veröffentlicht: (2025)
Conformal Risk Minimization with Variance Reduction
von: Noorani, Sima, et al.
Veröffentlicht: (2024)
von: Noorani, Sima, et al.
Veröffentlicht: (2024)
STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments
von: Zhou, Hao, et al.
Veröffentlicht: (2024)
von: Zhou, Hao, et al.
Veröffentlicht: (2024)
Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities
von: Jeong, Yungi, et al.
Veröffentlicht: (2026)
von: Jeong, Yungi, et al.
Veröffentlicht: (2026)
Ähnliche Einträge
-
Muon is Provably Faster with Momentum Variance Reduction
von: Qian, Xun, et al.
Veröffentlicht: (2025) -
Adaptive Optimization via Momentum on Variance-Normalized Gradients
von: Patitucci, Francisco, et al.
Veröffentlicht: (2026) -
Accelerating Byzantine-Robust Distributed Learning with Compressed Communication via Double Momentum and Variance Reduction
von: Li, Yanghao, et al.
Veröffentlicht: (2026) -
Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
von: Jiang, Wei, et al.
Veröffentlicht: (2024) -
TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
von: Cheng, Peng, et al.
Veröffentlicht: (2026)