Buchumschlag

Accelerating Python Applications with Dask and ProxyStore

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pauloski, J. Gregory, Rydzy, Klaudiusz, Hayot-Sasson, Valerie, Foster, Ian, Chard, Kyle
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Object Proxy Patterns for Accelerating Distributed Applications
von: Pauloski, J. Gregory, et al.
Veröffentlicht: (2024)

Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
von: Dugré, Mathieu, et al.
Veröffentlicht: (2024)

WRATH: Workload Resilience Across Task Hierarchies in Task-based Parallel Programming Frameworks
von: Zhou, Sicheng, et al.
Veröffentlicht: (2025)

DynoStore: A wide-area distribution system for the management of data over heterogeneous storage
von: Sanchez-Gallegos, Dante D., et al.
Veröffentlicht: (2025)

TaPS: A Performance Evaluation Suite for Task-based Execution Frameworks
von: Pauloski, J. Gregory, et al.
Veröffentlicht: (2024)

Flight: A FaaS-Based Framework for Complex and Hierarchical Federated Learning
von: Hudson, Nathaniel, et al.
Veröffentlicht: (2024)

Employing Artificial Intelligence to Steer Exascale Workflows with Colmena
von: Ward, Logan, et al.
Veröffentlicht: (2024)

Steering a Fleet: Adaptation for Large-Scale, Workflow-Based Experiments
von: Pruyne, Jim, et al.
Veröffentlicht: (2024)

Addressing Reproducibility Challenges in HPC with Continuous Integration
von: Hayot-Sasson, Valérie, et al.
Veröffentlicht: (2025)

D-Rex: Heterogeneity-Aware Reliability Framework and Adaptive Algorithms for Distributed Storage
von: Gonthier, Maxime, et al.
Veröffentlicht: (2025)

Octopus: Experiences with a Hybrid Event-Driven Architecture for Distributed Scientific Computing
von: Pan, Haochen, et al.
Veröffentlicht: (2024)

Hierarchical storage management in user space for neuroimaging applications
von: Hayot-Sasson, Valérie, et al.
Veröffentlicht: (2024)

GreenFaaS: Maximizing Energy Efficiency of HPC Workloads with FaaS
von: Kamatar, Alok, et al.
Veröffentlicht: (2024)

XaaS Containers: Performance-Portable Representation With Source and IR Containers
von: Copik, Marcin, et al.
Veröffentlicht: (2025)

Core Hours and Carbon Credits: Incentivizing Sustainability in HPC
von: Kamatar, Alok, et al.
Veröffentlicht: (2025)

Empowering Scientific Workflows with Federated Agents
von: Kamatar, Alok, et al.
Veröffentlicht: (2025)

Icicle: Scalable Metadata Indexing and Real-Time Monitoring for HPC File Systems
von: Pan, Haochen, et al.
Veröffentlicht: (2026)

UniFaaS: Programming across Distributed Cyberinfrastructure with Federated Function Serving
von: Li, Yifei, et al.
Veröffentlicht: (2024)

Parsl+CWL: Towards Combining the Python and CWL Ecosystems
von: Karle, Nishchay, et al.
Veröffentlicht: (2024)

Automated, Reliable, and Efficient Continental-Scale Replication of 7.3 Petabytes of Climate Simulation Data: A Case Study
von: Lacinski, Lukasz, et al.
Veröffentlicht: (2024)

Topology-Aware Knowledge Propagation in Decentralized Learning
von: Sakarvadia, Mansi, et al.
Veröffentlicht: (2025)

Experiences with Model Context Protocol Servers for Science and High Performance Computing
von: Pan, Haochen, et al.
Veröffentlicht: (2025)

Trillion Parameter AI Serving Infrastructure for Scientific Discovery: A Survey and Vision
von: Hudson, Nathaniel, et al.
Veröffentlicht: (2024)

Experiences Building Enterprise-Level Privacy-Preserving Federated Learning to Power AI for Science
von: Li, Zilinghan, et al.
Veröffentlicht: (2025)

Optimizing Fine-Grained Parallelism Through Dynamic Load Balancing on Multi-Socket Many-Core Systems
von: Wang, Wenyi, et al.
Veröffentlicht: (2025)

Computational Grids
von: Foster, Ian, et al.
Veröffentlicht: (2025)

KEET: Explaining Performance of GPU Kernels Using LLM Agents
von: Davis, Joshua H., et al.
Veröffentlicht: (2026)

PSI/J: A Portable Interface for Submitting, Monitoring, and Managing Jobs
von: Hategan-Marandiuc, Mihael, et al.
Veröffentlicht: (2023)

Synthesizing Proxy Applications for MPI Programs
von: Luo, Jiyu, et al.
Veröffentlicht: (2023)

Employ SmartNICs' Data Path Accelerators for Ordered Key-Value Stores
von: Schimmelpfennig, Frederic, et al.
Veröffentlicht: (2026)

XaaS: Acceleration as a Service to Enable Productive High-Performance Cloud Computing
von: Hoefler, Torsten, et al.
Veröffentlicht: (2024)

On Similarity of Computational Kernels in our Codes and Proxies
von: McKinsey, Michael, et al.
Veröffentlicht: (2026)

SkyStore: Cost-Optimized Object Storage Across Regions and Clouds
von: Liu, Shu, et al.
Veröffentlicht: (2025)

Connecting Large Language Model Agent to High Performance Computing Resource
von: Ma, Heng, et al.
Veröffentlicht: (2025)

FlexKV: Flexible Index Offloading for Memory-Disaggregated Key-Value Store
von: Hu, Zhisheng, et al.
Veröffentlicht: (2025)

MOFA: Discovering Materials for Carbon Capture with a GenAI- and Simulation-Based Workflow
von: Yan, Xiaoli, et al.
Veröffentlicht: (2025)

User Experiences with MPI RMA and ULFM in a Resilient Key-Value Store Implementation
von: Fohry, Claudia, et al.
Veröffentlicht: (2026)

Exploring Distributed Vector Databases Performance on HPC Platforms: A Study with Qdrant
von: Ockerman, Seth, et al.
Veröffentlicht: (2025)

Analytic Roofline Modeling and Energy Analysis of LULESH Proxy Application on Multi-Core Clusters
von: Afzal, Ayesha, et al.
Veröffentlicht: (2024)

Efficient Data-Parallel Continual Learning with Asynchronous Distributed Rehearsal Buffers
von: Bouvier, Thomas, et al.
Veröffentlicht: (2024)