Buchumschlag

PALM: A Efficient Performance Simulator for Tiled Accelerators with Large-scale Model Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fang, Jiahao, Wang, Huizheng, Yang, Qize, Kong, Dehao, Dai, Xu, Deng, Jinyi, Hu, Yang, Yin, Shouyi
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MoEntwine: Unleashing the Potential of Wafer-scale Chips for Large-scale Expert Parallel Inference
von: Tang, Xinru, et al.
Veröffentlicht: (2025)

TileLink: Generating Efficient Compute-Communication Overlapping Kernels using Tile-Centric Primitives
von: Zheng, Size, et al.
Veröffentlicht: (2025)

Accelerating Sparse DNNs Based on Tiled GEMM
von: Guo, Cong, et al.
Veröffentlicht: (2024)

An Efficient, Reliable and Observable Collective Communication Library in Large-scale GPU Training Clusters
von: Zhang, Mingjun, et al.
Veröffentlicht: (2025)

Lumos: Efficient Performance Modeling and Estimation for Large-scale LLM Training
von: Liang, Mingyu, et al.
Veröffentlicht: (2025)

HPCTransCompile: An AI Compiler Generated Dataset for High-Performance CUDA Transpilation and LLM Preliminary Exploration
von: Lv, Jiaqi, et al.
Veröffentlicht: (2025)

Design in Tiles: Automating GEMM Deployment on Tile-Based Many-PE Accelerators
von: Shen, Aofeng, et al.
Veröffentlicht: (2025)

An Efficient and Adaptive Watermark Detection System with Tile-based Error Correction
von: Zhong, Xinrui, et al.
Veröffentlicht: (2025)

GPU-Accelerated Distributed QAOA on Large-scale HPC Ecosystems
von: Xu, Zhihao, et al.
Veröffentlicht: (2025)

Performance Characterization of Containerized DNN Training and Inference on Edge Accelerators
von: K., Prashanthi S., et al.
Veröffentlicht: (2023)

Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
von: Zhang, WenZheng, et al.
Veröffentlicht: (2024)

GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching
von: Guo, Cong, et al.
Veröffentlicht: (2024)

TileLoom: Automatic Dataflow Planning for Tile-Based Languages on Spatial Dataflow Accelerators
von: Li, Wei, et al.
Veröffentlicht: (2025)

PAT: Accelerating LLM Decoding via Prefix-Aware Attention with Resource Efficient Multi-Tile Kernel
von: Yi, Jinjun, et al.
Veröffentlicht: (2025)

ACE-Sync: An Adaptive Cloud-Edge Synchronization Framework for Communication-Efficient Large-Scale Distributed Model Training
von: Yang, Yi, et al.
Veröffentlicht: (2025)

SWIFT: Expedited Failure Recovery for Large-scale DNN Training
von: Zhong, Yuchen, et al.
Veröffentlicht: (2023)

Expert-as-a-Service: Towards Efficient, Scalable, and Robust Large-scale MoE Serving
von: Liu, Ziming, et al.
Veröffentlicht: (2025)

Pro-Prophet: A Systematic Load Balancing Method for Efficient Parallel Training of Large-scale MoE Models
von: Wang, Wei, et al.
Veröffentlicht: (2024)

Characterizing the Performance of Accelerated Jetson Edge Devices for Training Deep Learning Models
von: K., Prashanthi S., et al.
Veröffentlicht: (2025)

EROICA: Online Performance Troubleshooting for Large-scale Model Training
von: Guan, Yu, et al.
Veröffentlicht: (2025)

MOSS: A Large-scale Open Microscopic Traffic Simulation System
von: Zhang, Jun, et al.
Veröffentlicht: (2024)

A Study on the Performance of Distributed Training of Data-driven CFD Simulations
von: Iserte, Sergio, et al.
Veröffentlicht: (2026)

CFP: Efficient Optimization of Intra-Operator Parallelism Plans for Large Model Training
von: Hu, Weifang, et al.
Veröffentlicht: (2025)

Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
von: Duan, Jiangfei, et al.
Veröffentlicht: (2024)

CacheFlow: Efficient LLM Serving with 3D-Parallel KV Cache Restoration
von: Nian, Sean, et al.
Veröffentlicht: (2026)

LoongTrain: Efficient Training of Long-Sequence LLMs with Head-Context Parallelism
von: Gu, Diandian, et al.
Veröffentlicht: (2024)

Oases: Efficient Large-Scale Model Training on Commodity Servers via Overlapped and Automated Tensor Model Parallelism
von: Li, Shengwei, et al.
Veröffentlicht: (2023)

IsoSched: Preemptive Tile Cascaded Scheduling of Multi-DNN via Subgraph Isomorphism
von: Zhao, Boran, et al.
Veröffentlicht: (2025)

SPIN: Accelerating Large Language Model Inference with Heterogeneous Speculative Models
von: Chen, Fahao, et al.
Veröffentlicht: (2025)

Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training
von: Sun, Ao, et al.
Veröffentlicht: (2024)

Humas: A Heterogeneity- and Upgrade-aware Microservice Auto-scaling Framework in Large-scale Data Centers
von: Hua, Qin, et al.
Veröffentlicht: (2024)

On the Performance and Memory Footprint of Distributed Training: An Empirical Study on Transformers
von: Lu, Zhengxian, et al.
Veröffentlicht: (2024)

Xorbits: Automating Operator Tiling for Distributed Data Science
von: Lu, Weizheng, et al.
Veröffentlicht: (2023)

Large Scale Multi-GPU Based Parallel Traffic Simulation for Accelerated Traffic Assignment and Propagation
von: Jiang, Xuan, et al.
Veröffentlicht: (2024)

DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines
von: Tian, Ye, et al.
Veröffentlicht: (2024)

AMSP: Reducing Communication Overhead of ZeRO for Efficient LLM Training
von: Chen, Qiaoling, et al.
Veröffentlicht: (2023)

Mitigating Interference of Microservices with a Scoring Mechanism in Large-scale Clusters
von: Yang, Dingyu, et al.
Veröffentlicht: (2024)

Large-scale Neural Network Quantum States for ab initio Quantum Chemistry Simulations on Fugaku
von: Xu, Hongtao, et al.
Veröffentlicht: (2025)

AIReSim: A Discrete Event Simulator for Large-scale AI Cluster Reliability Modeling
von: Pattabiraman, Karthik, et al.
Veröffentlicht: (2026)

Zeppelin: Balancing Variable-length Workloads in Data Parallel Large Model Training
von: Chen, Chang, et al.
Veröffentlicht: (2025)