Buchumschlag

Unbiased Gradient Low-Rank Projection

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pan, Rui, Luo, Yang, Liu, Yuxing, You, Yang, Zhang, Tong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models
von: Yu, Dingzhi, et al.
Veröffentlicht: (2026)

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
von: Ma, Shaocong, et al.
Veröffentlicht: (2025)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
von: Xu, Conglong, et al.
Veröffentlicht: (2025)

AdaGrad under Anisotropic Smoothness
von: Liu, Yuxing, et al.
Veröffentlicht: (2024)

ASGO: Adaptive Structured Gradient Optimization
von: An, Kang, et al.
Veröffentlicht: (2025)

Q3R: Quadratic Reweighted Rank Regularizer for Effective Low-Rank Training
von: Ghosh, Ipsita, et al.
Veröffentlicht: (2025)

Compressing Large Language Models using Low Rank and Low Precision Decomposition
von: Saha, Rajarshi, et al.
Veröffentlicht: (2024)

Towards Efficient Risk-Sensitive Policy Gradient: An Iteration Complexity Analysis
von: Liu, Rui, et al.
Veröffentlicht: (2024)

Boosting Gradient Ascent for Continuous DR-submodular Maximization
von: Zhang, Qixin, et al.
Veröffentlicht: (2024)

Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
von: Schotthöfer, Steffen, et al.
Veröffentlicht: (2024)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Theoretical Analysis on how Learning Rate Warmup Accelerates Convergence
von: Liu, Yuxing, et al.
Veröffentlicht: (2025)

Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent
von: Yang, Tong, et al.
Veröffentlicht: (2025)

Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks
von: Liu, Xin, et al.
Veröffentlicht: (2022)

PoLAR: Polar-Decomposed Low-Rank Adapter Representation
von: Lion, Kai, et al.
Veröffentlicht: (2025)

Agentic Transformers Provably Learn to Search via Reinforcement Learning
von: Yang, Tong, et al.
Veröffentlicht: (2026)

Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
von: Cheng, Ziheng, et al.
Veröffentlicht: (2025)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Delightful Policy Gradient
von: Osband, Ian
Veröffentlicht: (2026)

Robust Control with Gradient Uncertainty
von: Qi, Qian
Veröffentlicht: (2025)

Delightful Distributed Policy Gradient
von: Osband, Ian
Veröffentlicht: (2026)

Gradient Descent Efficiency Index
von: Dhingra, Aviral
Veröffentlicht: (2024)

On Finding Small Hyper-Gradients in Bilevel Optimization: Hardness Results and Improved Analysis
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

Revisiting LQR Control from the Perspective of Receding-Horizon Policy Gradient
von: Zhang, Xiangyuan, et al.
Veröffentlicht: (2023)

One Rank at a Time: Cascading Error Dynamics in Sequential Learning
von: Vandchali, Mahtab Alizadeh, et al.
Veröffentlicht: (2025)

Performative Policy Gradient: Optimality in Performative Reinforcement Learning
von: Basu, Debabrota, et al.
Veröffentlicht: (2025)

Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
von: Hennick, Max, et al.
Veröffentlicht: (2025)

Riemann Sum Optimization for Accurate Integrated Gradients Computation
von: Swain, Swadesh, et al.
Veröffentlicht: (2024)

Finite-Time Analysis of Gradient Descent for Shallow Transformers
von: Arda, Enes, et al.
Veröffentlicht: (2026)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

A Retention-Centric Framework for Continual Learning with Guaranteed Model Developmental Safety
von: Li, Gang, et al.
Veröffentlicht: (2024)

A Unified Framework for Gradient Aggregation in Multi-Objective Optimization
von: Hu, Zeou, et al.
Veröffentlicht: (2026)

Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
von: Sheen, Heejune, et al.
Veröffentlicht: (2024)

Global Convergence Guarantees for Federated Policy Gradient Methods with Adversaries
von: Ganesh, Swetha, et al.
Veröffentlicht: (2024)

Deep Reinforcement Learning for Traveling Purchaser Problems
von: Yuan, Haofeng, et al.
Veröffentlicht: (2024)

On a Gradient Approach to Chebyshev Center Problems with Applications to Function Learning
von: Raghuvanshi, Abhinav, et al.
Veröffentlicht: (2026)

Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis
von: Jiao, Yang, et al.
Veröffentlicht: (2023)

Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal?
von: Su, Weijie
Veröffentlicht: (2025)