Buchumschlag

Compute Can't Handle the Truth: Why Communication Tax Prioritizes Memory and Interconnects in Modern AI Infrastructure

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Jung, Myoungsoo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Hardware Architecture B.4.3; C.0; C.2.1; C.2.2
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploring GPU-to-GPU Communication: Insights into Supercomputer Interconnects
von: De Sensi, Daniele, et al.
Veröffentlicht: (2024)

Global Optimizations & Lightweight Dynamic Logic for Concurrency
von: Pati, Suchita, et al.
Veröffentlicht: (2024)

T3: Transparent Tracking & Triggering for Fine-grained Overlap of Compute & Collectives
von: Pati, Suchita, et al.
Veröffentlicht: (2024)

A Survey on Heterogeneous Computing Using SmartNICs and Emerging Data Processing Units
von: Tibbetts, Nathan, et al.
Veröffentlicht: (2025)

Towards Policy-Enabled Multi-Hop Routing for Cross-Chain Message Delivery
von: Rezaei, Amin, et al.
Veröffentlicht: (2026)

Konnektor: Connection Protocol for Ensuring Peer Uniqueness in Decentralized P2P Networks
von: Ozkan, Onur
Veröffentlicht: (2024)

Lincoln AI Computing Survey (LAICS) and Trends
von: Reuther, Albert, et al.
Veröffentlicht: (2025)

Optimizing Foundation Model Inference on a Many-tiny-core Open-source RISC-V Platform
von: Potocnik, Viviane, et al.
Veröffentlicht: (2024)

Rotary GPU: Exploring Local Execution Paths for Large Mixture-of-Experts Models Under Limited GPU Memory
von: Jo, Myeong Jun
Veröffentlicht: (2026)

Towards Greener LLMs: Bringing Energy-Efficiency to the Forefront of LLM Inference
von: Stojkovic, Jovan, et al.
Veröffentlicht: (2024)

Nezha: Deployable and High-Performance Consensus Using Synchronized Clocks
von: Geng, Jinkun, et al.
Veröffentlicht: (2022)

Security Analysis of Bitcoin's V2 Transport Protocol: Exploiting Design Implications for Sustained Eclipse and Downgrade Attacks
von: Ndolo, Charmaine, et al.
Veröffentlicht: (2026)

Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study
von: Georgiou, Athos
Veröffentlicht: (2026)

Studying the Effect of Schedule Preemption on Dynamic Task Graph Scheduling
von: Khodabandehlou, Mohammadali, et al.
Veröffentlicht: (2026)

GPUnion: Autonomous GPU Sharing on Campus
von: Li, Yufang, et al.
Veröffentlicht: (2025)

LLaMCAT: Optimizing Large Language Model Inference with Cache Arbitration and Throttling
von: Zhou, Zhongchun, et al.
Veröffentlicht: (2025)

Joint Task Offloading and Routing in Wireless Multi-hop Networks Using Biased Backpressure Algorithm
von: Zhao, Zhongyuan, et al.
Veröffentlicht: (2024)

Cognitive Infrastructure: A Unified DCIM Framework for AI Data Centers
von: Sunkara, Krishna Chaitanya
Veröffentlicht: (2026)

Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference
von: Ganjihal, Sanjeev Rao
Veröffentlicht: (2026)

Inside VOLT: Designing an Open-Source GPU Compiler
von: Jeong, Shinnung, et al.
Veröffentlicht: (2025)

Splitwise: Efficient generative LLM inference using phase splitting
von: Patel, Pratyush, et al.
Veröffentlicht: (2023)

NCCL EP: Towards a Unified Expert Parallel Communication API for NCCL
von: Goldman, Amos, et al.
Veröffentlicht: (2026)

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures
von: Zhao, Chenggang, et al.
Veröffentlicht: (2025)

Social Dynamics of DAOs: Power, Onboarding, and Inclusivity
von: Kozlova, Victoria, et al.
Veröffentlicht: (2025)

Self-Adaptive Probabilistic Skyline Query Processing in Distributed Edge Computing via Deep Reinforcement Learning
von: Lai, Chuan-Chi
Veröffentlicht: (2026)

Accelerating Frontier MoE Training with 3D Integrated Optics
von: Bernadskiy, Mikhail, et al.
Veröffentlicht: (2025)

BlockSDN-VC: A SDN-Based Virtual Coordinate-Enhanced Transaction Broadcast Framework for High-Performance Blockchains
von: Jia, Wenyang, et al.
Veröffentlicht: (2025)

Wattchmen: Watching the Wattchers -- High Fidelity, Flexible GPU Energy Modeling
von: Tran, Brandon, et al.
Veröffentlicht: (2026)

Handling of Memory Page Faults during Virtual-Address RDMA
von: Psistakis, Antonis
Veröffentlicht: (2025)

Active Admission Control in a P2P Distributed Environment for Capacity Efficient Livestreaming in Mobile Wireless Networks
von: Negulescu, Andrei, et al.
Veröffentlicht: (2023)

Bandwidth Efficient Livestreaming in Mobile Wireless Networks: A Peer-to-Peer ACIDE Solution
von: Negulescu, Andrei, et al.
Veröffentlicht: (2023)

Sensors in viticulture: functions, benefits, and data-driven insights
von: Milenkovic, Milan
Veröffentlicht: (2025)

Accelerating Causal Algorithms for Industrial-scale Data: A Distributed Computing Approach with Ray Framework
von: Verma, Vishal, et al.
Veröffentlicht: (2024)

Application-Driven Exascale: The JUPITER Benchmark Suite
von: Herten, Andreas, et al.
Veröffentlicht: (2024)

Athena: Synergizing Data Prefetching and Off-Chip Prediction via Online Reinforcement Learning
von: Bera, Rahul, et al.
Veröffentlicht: (2026)

Mitigating the Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques
von: Bera, Rahul
Veröffentlicht: (2026)

A Modern Primer on Processing in Memory
von: Mutlu, Onur, et al.
Veröffentlicht: (2020)

DynamiQ: Accelerating Gradient Synchronization using Compressed Multi-hop All-reduce
von: Han, Wenchen, et al.
Veröffentlicht: (2026)

Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs
von: Peng, Hongwu, et al.
Veröffentlicht: (2023)

Memory-Centric Computing: Solving Computing's Memory Problem
von: Mutlu, Onur, et al.
Veröffentlicht: (2025)