Buchumschlag

Optimal low-rank stochastic gradient estimation for LLM training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Zehao, Ren, Tao, Zhang, Zishi, Chen, Xi, Peng, Yijie
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Nonparametric Bayesian Optimization for General Rewards
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)

Sample-Efficient "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection
von: Zhang, Zishi, et al.
Veröffentlicht: (2024)

Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation
von: Li, Zehao, et al.
Veröffentlicht: (2024)

LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization
von: Zhang, Zishi, et al.
Veröffentlicht: (2026)

FLOPS: Forward Learning with OPtimal Sampling
von: Ren, Tao, et al.
Veröffentlicht: (2024)

A New Stochastic Approximation Method for Gradient-based Simulated Parameter Estimation
von: Li, Zehao, et al.
Veröffentlicht: (2025)

Cold-Start Forecasting of New Product Life-Cycles via Conditional Diffusion Models
von: Zhou, Ruihan, et al.
Veröffentlicht: (2026)

RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training
von: Ren, Tao, et al.
Veröffentlicht: (2025)

Half-order Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer
von: Ren, Tao, et al.
Veröffentlicht: (2025)

Dual-Agent Deep Reinforcement Learning for Dynamic Pricing and Replenishment
von: Zheng, Yi, et al.
Veröffentlicht: (2024)

Acceleration of stochastic gradient descent with momentum by averaging: finite-sample rates and asymptotic normality
von: Tang, Kejie, et al.
Veröffentlicht: (2023)

A geometric framework for momentum-based optimizers for low-rank training
von: Schotthöfer, Steffen, et al.
Veröffentlicht: (2025)

One-step corrected projected stochastic gradient descent for statistical estimation
von: Brouste, Alexandre, et al.
Veröffentlicht: (2023)

Inferring stochastic low-rank recurrent neural networks from neural data
von: Pals, Matthijs, et al.
Veröffentlicht: (2024)

Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks
von: Liang, Luxu, et al.
Veröffentlicht: (2024)

Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence
von: Yang, Hui, et al.
Veröffentlicht: (2026)

Robust low-rank training via approximate orthonormal constraints
von: Savostianova, Dayana, et al.
Veröffentlicht: (2023)

Learning with Dual-level Noisy Correspondence for Multi-modal Entity Alignment
von: Li, Haobin, et al.
Veröffentlicht: (2025)

The generator gradient estimator is an adjoint state method for stochastic differential equations
von: Badolle, Quentin, et al.
Veröffentlicht: (2024)

Low-rank surrogate modeling and stochastic zero-order optimization for training of neural networks with black-box layers
von: Chertkov, Andrei, et al.
Veröffentlicht: (2025)

ARMAX identification of low rank graphical models
von: Cao, Wenqi, et al.
Veröffentlicht: (2025)

Distributional value gradients for stochastic environments
von: Debes, Baptiste, et al.
Veröffentlicht: (2026)

Equivalence of stochastic and deterministic policy gradients
von: Todorov, Emo
Veröffentlicht: (2025)

Robust low-rank estimation with multiple binary responses using pairwise AUC loss
von: Mai, The Tien
Veröffentlicht: (2026)

Optimal training-conditional regret for online conformal prediction
von: Liang, Jiadong, et al.
Veröffentlicht: (2026)

Near-Optimal differentially private low-rank trace regression with guaranteed private initialization
von: Zha, Mengyue
Veröffentlicht: (2024)

LOST: Low-rank and Sparse Pre-training for Large Language Models
von: Li, Jiaxi, et al.
Veröffentlicht: (2025)

Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem
von: Mohammadi, Hesameddin, et al.
Veröffentlicht: (2024)

On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
von: Zhang, Yijie
Veröffentlicht: (2024)

InterCorpRel-LLM: Enhancing Financial Relational Understanding with Graph-Language Models
von: Sun, Qianyou, et al.
Veröffentlicht: (2025)

BiPFT: Binary Pre-trained Foundation Transformer with Low-rank Estimation of Binarization Residual Polynomials
von: Xing, Xingrun, et al.
Veröffentlicht: (2023)

Model-Agnostic Sentiment Distribution Stability Analysis for Robust LLM-Generated Texts Detection
von: Li, Siyuan, et al.
Veröffentlicht: (2025)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
von: Chen, Zhipeng, et al.
Veröffentlicht: (2026)

Almost sure convergence rates of stochastic gradient methods under gradient domination
von: Weissmann, Simon, et al.
Veröffentlicht: (2024)

A stochastic gradient method for trilevel optimization
von: Giovannelli, Tommaso, et al.
Veröffentlicht: (2025)

Generalized EXTRA stochastic gradient Langevin dynamics
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2024)

Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2024)

Gradient dynamics for low-rank fine-tuning beyond kernels
von: Dayi, Arif Kerem, et al.
Veröffentlicht: (2024)

Weight decay induces low-rank attention layers
von: Kobayashi, Seijin, et al.
Veröffentlicht: (2024)

A hitchhiker's guide to Poisson gradient estimation
von: Ibrahim, Michael, et al.
Veröffentlicht: (2026)