Buchumschlag

TTrace: Lightweight Error Checking and Diagnosis for Distributed Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jiang, Haitian, Zhu, Shaowei, Zhang, Zhen, Song, Zhenyu, Fu, Xinwei, Jia, Zhen, Wang, Yida, Li, Jinyang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning Numerical Analysis
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training
von: Arfeen, Daiyaan, et al.
Veröffentlicht: (2024)

Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme
von: Uchino, Yuki, et al.
Veröffentlicht: (2026)

A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
von: Pang, Qiyuan, et al.
Veröffentlicht: (2022)

On some orthogonalization schemes in Tensor Train format
von: Coulaud, Olivier, et al.
Veröffentlicht: (2022)

Distributed computing for physics-based data-driven reduced modeling at scale: Application to a rotating detonation rocket engine
von: Farcas, Ionut-Gabriel, et al.
Veröffentlicht: (2024)

DCP: Addressing Input Dynamism In Long-Context Training via Dynamic Context Parallelism
von: Jiang, Chenyu, et al.
Veröffentlicht: (2025)

Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping
von: Jiang, Chenyu, et al.
Veröffentlicht: (2024)

Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity
von: Chen, Haoxuan, et al.
Veröffentlicht: (2024)

Improved Analysis of the Accelerated Noisy Power Method with Applications to Decentralized PCA
von: Aguié, Pierre, et al.
Veröffentlicht: (2026)

Towards a GPU-Parallelization of the neXtSIM-DG Dynamical Core
von: Jendersie, Robert, et al.
Veröffentlicht: (2024)

Parallel simulation and adaptive mesh refinement for 3D elastostatic contact mechanics problems between deformable bodies
von: Epalle, Alexandre, et al.
Veröffentlicht: (2025)

Two-Stage Block Orthogonalization to Improve Performance of $s$-step GMRES
von: Yamazaki, Ichitaro, et al.
Veröffentlicht: (2024)

Teaching An Old Dog New Tricks: Porting Legacy Code to Heterogeneous Compute Architectures With Automated Code Translation
von: Nytko, Nicolas, et al.
Veröffentlicht: (2025)

SUNDIALS Time Integrators for Exascale Applications with Many Independent ODE Systems
von: Balos, Cody J., et al.
Veröffentlicht: (2024)

Neural Acceleration of Incomplete Cholesky Preconditioners
von: Booth, Joshua Dennis, et al.
Veröffentlicht: (2024)

A simple GPU implementation of spectral-element methods for solving 3D Poisson type equations on rectangular domains and its applications
von: Liu, Xinyu, et al.
Veröffentlicht: (2023)

Asymptotic Analysis of a Leader Election Algorithm
von: Lavault, Christian, et al.
Veröffentlicht: (2006)

A Parallel in Time Algorithm Based on ParaExp for Optimal Control Problems
von: Kwok, Felix, et al.
Veröffentlicht: (2024)

Cucheb: A GPU implementation of the filtered Lanczos procedure
von: Aurentz, Jared L., et al.
Veröffentlicht: (2024)

Random-sketching Techniques to Enhance the Numerical Stability of Block Orthogonalization Algorithms for s-step GMRES
von: Yamazaki, Ichitaro, et al.
Veröffentlicht: (2025)

RAPTOR: Practical Numerical Profiling of Scientific Applications
von: Hoerold, Faveo, et al.
Veröffentlicht: (2025)

GPU Accelerated Implicit Kinetic Meshfree Method based on Modified LU-SGS
von: Verma, Mayuri, et al.
Veröffentlicht: (2024)

Residual-Weighted Randomized Jacobi: Sharpened Bounds via Residual Concentration and Asynchronous Extension
von: Coleman, Evan
Veröffentlicht: (2026)

Algebraic Temporal Blocking for Sparse Iterative Solvers on Multi-Core CPUs
von: Alappat, Christie, et al.
Veröffentlicht: (2023)

CG-Kit: Code Generation Toolkit for Performant and Maintainable Variants of Source Code Applied to Flash-X Hydrodynamics Simulations
von: Rudi, Johann, et al.
Veröffentlicht: (2024)

Modifying the Asynchronous Jacobi Method for Data Corruption Resilience
von: Vogl, Christopher J., et al.
Veröffentlicht: (2022)

DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines
von: Tian, Ye, et al.
Veröffentlicht: (2024)

Hierarchical Transformer Preconditioning for Interactive Physics Simulation
von: Osborne, Carl, et al.
Veröffentlicht: (2026)

Sampling on Metric Graphs
von: Dwaraknath, Rajat Vadiraj, et al.
Veröffentlicht: (2025)

Distributed Matrix-Vector Multiplication: A Convolutional Coding Approach
von: Das, Anindya Bijoy, et al.
Veröffentlicht: (2019)

Distribution System Voltage Prediction from Smart Inverters using Decentralized Regression
von: Atkins, Zachary R., et al.
Veröffentlicht: (2021)

Exponential convergence of a distributed divide-and-conquer algorithm for constrained convex optimization on networks
von: Emirov, Nazar, et al.
Veröffentlicht: (2025)

Efficient and scalable atmospheric dynamics simulations using non-conforming meshes
von: Orlando, Giuseppe, et al.
Veröffentlicht: (2024)

Real-time Bayesian inference at extreme scale: A digital twin for tsunami early warning applied to the Cascadia subduction zone
von: Henneking, Stefan, et al.
Veröffentlicht: (2025)

Improving the scalability of a high-order atmospheric dynamics solver based on the deal.II library
von: Orlando, Giuseppe, et al.
Veröffentlicht: (2025)

A High Performance GPU CountSketch Implementation and Its Application to Multisketching and Least Squares Problems
von: Higgins, Andrew J., et al.
Veröffentlicht: (2025)

Randomized algorithms for distributed computation of principal component analysis and singular value decomposition
von: Li, Huamin, et al.
Veröffentlicht: (2016)

SUperman: Efficient Permanent Computation on GPUs
von: Elbek, Deniz, et al.
Veröffentlicht: (2025)

Decomposing Solution Sets of Polynomial Systems: A New Parallel Monodromy Breakup Algorithm
von: Leykin, Anton, et al.
Veröffentlicht: (2005)

Parallelization of Software Systems Test Case Selection Algorithm Based on Singular Value Decomposition
von: Moghaddam, Mahdi Movahedian
Veröffentlicht: (2022)