Buchumschlag

Cooperative Inference with Interleaved Operator Partitioning for CNNs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zhibang, Xu, Chaonong, Liu, Zhizhuo, Huang, Lekai, Wei, Jiachen, Li, Chao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Collaborative Inference Acceleration with Non-Penetrative Tensor Partitioning
von: Liu, Zhibang, et al.
Veröffentlicht: (2025)

PICO: Pipeline Inference Framework for Versatile CNNs on Diverse Mobile Devices
von: Yang, Xiang, et al.
Veröffentlicht: (2022)

CoCoI: Distributed Coded Inference System for Straggler Mitigation
von: Liu, Xing, et al.
Veröffentlicht: (2025)

Learning the Optimal Path and DNN Partition for Collaborative Edge Inference
von: Huang, Yin, et al.
Veröffentlicht: (2024)

Where to Split? A Pareto-Front Analysis of DNN Partitioning for Edge Inference
von: Masud, Adiba, et al.
Veröffentlicht: (2026)

MOPAR: A Model Partitioning Framework for Deep Learning Inference Services on Serverless Platforms
von: Duan, Jiaang, et al.
Veröffentlicht: (2024)

Cooperative Gradient Coding
von: Weng, Shudi, et al.
Veröffentlicht: (2025)

Accelerating End-Cloud Collaborative Inference via Near Bubble-free Pipeline Optimization
von: Gao, Luyao, et al.
Veröffentlicht: (2024)

Many Hands Make Light Work: Accelerating Edge Inference via Multi-Client Collaborative Caching
von: Liang, Wenyi, et al.
Veröffentlicht: (2024)

WindGP: Efficient Graph Partitioning on Heterogenous Machines
von: Zeng, Li, et al.
Veröffentlicht: (2024)

OnePiece: A Large-Scale Distributed Inference System with RDMA for Complex AI-Generated Content (AIGC) Workflows
von: Chen, June, et al.
Veröffentlicht: (2026)

Opara: Exploiting Operator Parallelism for Expediting DNN Inference on GPUs
von: Chen, Aodong, et al.
Veröffentlicht: (2023)

SparseMap: Loop Mapping for Sparse CNNs on Streaming Coarse-grained Reconfigurable Array
von: Ni, Xiaobing, et al.
Veröffentlicht: (2024)

HarmonyBatch: Batching multi-SLO DNN Inference with Heterogeneous Serverless Functions
von: Chen, Jiabin, et al.
Veröffentlicht: (2024)

RAPID: Redundancy-Aware and Compatibility-Optimal Edge-Cloud Partitioned Inference for Diverse VLA Models
von: Zheng, Zihao, et al.
Veröffentlicht: (2026)

MoEntwine: Unleashing the Potential of Wafer-scale Chips for Large-scale Expert Parallel Inference
von: Tang, Xinru, et al.
Veröffentlicht: (2025)

FlowSpec: Continuous Pipelined Speculative Decoding for Efficient Distributed LLM Inference
von: Liu, Xing, et al.
Veröffentlicht: (2025)

Partition Detection in Byzantine Networks
von: Bromberg, Yérom-David, et al.
Veröffentlicht: (2024)

Inference without Interference: Disaggregate LLM Inference for Mixed Downstream Workloads
von: Hu, Cunchen, et al.
Veröffentlicht: (2024)

Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
von: Saba, Issa, et al.
Veröffentlicht: (2024)

SLO-Aware Scheduling for Large Language Model Inferences
von: Huang, Jinqi, et al.
Veröffentlicht: (2025)

Persistent and Partitioned MPI for Stencil Communication
von: Collom, Gerald, et al.
Veröffentlicht: (2025)

Incidence Constraints in Hypergraph Partitioning on GPU
von: Ronzani, Marco, et al.
Veröffentlicht: (2026)

Scaling LLM Inference Beyond Amdahl`s Limits via Eliminating Non-Scalable Overheads
von: Zhao, Alan, et al.
Veröffentlicht: (2026)

FleetOpt: Analytical Fleet Provisioning for LLM Inference with Compress-and-Route as Implementation Mechanism
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

HAP: Hybrid Adaptive Parallelism for Efficient Mixture-of-Experts Inference
von: Lin, Haoran, et al.
Veröffentlicht: (2025)

inference-fleet-sim: A Queueing-Theory-Grounded Fleet Capacity Planner for LLM Inference
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

A Distributed Partitioning Software and its Applications
von: Sasidharan, Aparna
Veröffentlicht: (2025)

Deterministic Parallel High-Quality Hypergraph Partitioning
von: Krause, Robert, et al.
Veröffentlicht: (2025)

ROSE: Rollout On Serving GPUs via Cooperative Elasticity for Agentic RL
von: Gao, Wei, et al.
Veröffentlicht: (2026)

PARD: Enhancing Goodput for Inference Pipeline via Proactive Request Dropping
von: Zhao, Zhixin, et al.
Veröffentlicht: (2026)

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning
von: Li, Rukuo, et al.
Veröffentlicht: (2025)

KV Cache Compression for Inference Efficiency in LLMs: A Review
von: Liu, Yanyu, et al.
Veröffentlicht: (2025)

DAWN: Matrix Operation-Optimized Algorithm for Shortest Paths Problem on Unweighted Graphs
von: Feng, Yelai, et al.
Veröffentlicht: (2022)

Ghidorah: Fast LLM Inference on Edge with Speculative Decoding and Hetero-Core Parallelism
von: Wei, Jinhui, et al.
Veröffentlicht: (2025)

Accelerating Distributed MoE Training and Inference with Lina
von: Li, Jiamin, et al.
Veröffentlicht: (2022)

DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference
von: Wu, Yongtong, et al.
Veröffentlicht: (2026)

The 1/W Law: An Analytical Study of Context-Length Routing Topology and GPU Generation Gains for LLM Inference Energy Efficiency
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

Towards Resource-Efficient Serverless LLM Inference with SLINFER
von: Xu, Chuhao, et al.
Veröffentlicht: (2025)

Large Language Model Partitioning for Low-Latency Inference at the Edge
von: Kafetzis, Dimitrios, et al.
Veröffentlicht: (2025)