Buchumschlag

High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Qicong, Wu, Hao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Asynch-SGBDT: Asynchronous Parallel Stochastic Gradient Boosting Decision Tree based on Parameters Server
von: Daning, Cheng, et al.
Veröffentlicht: (2018)

AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
von: Ajanthan, Thalaiyasingam, et al.
Veröffentlicht: (2026)

Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework
von: Yu, Siyuan, et al.
Veröffentlicht: (2024)

Trustworthiness of Stochastic Gradient Descent in Distributed Learning
von: Li, Hongyang, et al.
Veröffentlicht: (2024)

Nesterov Method for Asynchronous Pipeline Parallel Optimization
von: Ajanthan, Thalaiyasingam, et al.
Veröffentlicht: (2025)

AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
von: Chen, Ling, et al.
Veröffentlicht: (2026)

High Dimensional Distributed Gradient Descent with Arbitrary Number of Byzantine Attackers
von: Liu, Wenyu, et al.
Veröffentlicht: (2023)

FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
von: Li, Yunbo, et al.
Veröffentlicht: (2025)

FlashEvolve: Accelerating Agent Self-Evolution with Asynchronous Stage Orchestration
von: Hu, Zhengding, et al.
Veröffentlicht: (2026)

Hybrid Approach to Parallel Stochastic Gradient Descent
von: Vora, Aakash Sudhirbhai, et al.
Veröffentlicht: (2024)

FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism
von: Wang, Yujie, et al.
Veröffentlicht: (2024)

Effectiveness of Distributed Gradient Descent with Local Steps for Overparameterized Models
von: Zhu, Heng, et al.
Veröffentlicht: (2024)

Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays
von: Iakovidou, Charikleia, et al.
Veröffentlicht: (2024)

AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
von: Bai, Huawei, et al.
Veröffentlicht: (2025)

High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates
von: Lu, Fred, et al.
Veröffentlicht: (2024)

ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push
von: Wu, Xiaoming, et al.
Veröffentlicht: (2025)

A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
von: Hu, Yuchen, et al.
Veröffentlicht: (2025)

A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
von: Song, Jiajun, et al.
Veröffentlicht: (2024)

DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
von: Gu, Shunxian, et al.
Veröffentlicht: (2025)

Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
von: Jung, Hyunji, et al.
Veröffentlicht: (2026)

Ordered Momentum for Asynchronous SGD
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2024)

Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training
von: Zhang, Xin, et al.
Veröffentlicht: (2025)

DSP: Dynamic Sequence Parallelism for Multi-Dimensional Transformers
von: Zhao, Xuanlei, et al.
Veröffentlicht: (2024)

CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance
von: Xia, Zeke, et al.
Veröffentlicht: (2024)

SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
von: Zhang, Ziyi, et al.
Veröffentlicht: (2025)

Hydraulis: Balancing Large Transformer Model Training via Co-designing Parallel Strategies and Data Assignment
von: Li, Haoyang, et al.
Veröffentlicht: (2024)

Distributed Deep Learning using Stochastic Gradient Staleness
von: Pham, Viet Hoang, et al.
Veröffentlicht: (2025)

Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients
von: Zuo, Shiyuan, et al.
Veröffentlicht: (2024)

DataStates-LLM: Lazy Asynchronous Checkpointing for Large Language Models
von: Maurya, Avinash, et al.
Veröffentlicht: (2024)

Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates
von: Xiong, Guojun, et al.
Veröffentlicht: (2023)

First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints
von: Luo, Zhankun, et al.
Veröffentlicht: (2026)

Scalable High-Dimensional Multivariate Linear Regression for Feature-Distributed Data
von: Huang, Shuo-Chieh, et al.
Veröffentlicht: (2023)

MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment
von: Huang, Hongtao, et al.
Veröffentlicht: (2024)

Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients
von: Luo, Ping, et al.
Veröffentlicht: (2024)

Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator
von: Fujii, Kazuki, et al.
Veröffentlicht: (2024)

AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
von: Liu, Jie, et al.
Veröffentlicht: (2026)

AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
von: McDanel, Bradley
Veröffentlicht: (2024)

AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs
von: Yan, Ran, et al.
Veröffentlicht: (2025)

Occult: Optimizing Collaborative Communication across Experts for Accelerated Parallel MoE Training and Inference
von: Luo, Shuqing, et al.
Veröffentlicht: (2025)

Orthogonal Calibration for Asynchronous Federated Learning
von: Zhang, Jiayun, et al.
Veröffentlicht: (2025)