Buchumschlag

Parallelization Strategies for Dense LLM Deployment: Navigating Through Application-Specific Tradeoffs and Bottlenecks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Topcu, Burak, Cim, Musa Oguzhan, Palangappa, Poovaiah, Arunachalam, Meena, Kandemir, Mahmut Taylan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning Performance C.4; C.1.4; I.6.4; I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

An Integrated UVM-TLM Co-Simulation Framework for RISC-V Functional Verification and Performance Evaluation
von: Qiu, Ruizhi, et al.
Veröffentlicht: (2025)

When Is the Same Model Not the Same Service? A Measurement Study of Hosted Open-Weight LLM APIs
von: Li, Haorui, et al.
Veröffentlicht: (2026)

Characterizing 5G User Throughput via Uncertainty Modeling and Crowdsourced Measurements
von: Albert-Smet, Javier, et al.
Veröffentlicht: (2025)

Mobile Traffic Prediction at the Edge Through Distributed and Deep Transfer Learning
von: Petrella, Alfredo, et al.
Veröffentlicht: (2023)

A simulation-optimization framework for food supply chain network design to ensure food accessibility under uncertainty
von: Chen, Mengfei, et al.
Veröffentlicht: (2024)

Memory Access Vectors: Improving Sampling Fidelity for CPU Performance Simulations
von: Caculo, Sriyash, et al.
Veröffentlicht: (2025)

Analytical Forward Dynamics Modeling of Linearly Actuated Heavy-Duty Parallel-Serial Manipulators
von: Alvaro, Paz, et al.
Veröffentlicht: (2024)

Host-Aware Control of Gene Expression using Data-Enabled Predictive Control
von: Perreault, Liam, et al.
Veröffentlicht: (2026)

Towards Building Private LLMs: Exploring Multi-Node Expert Parallelism on Apple Silicon for Mixture-of-Experts Large Language Model
von: Chen, Mu-Chi, et al.
Veröffentlicht: (2025)

Querying Labeled Time Series Data with Scenario Programs
von: Shanker, Devan
Veröffentlicht: (2024)

Optimization of a Radiofrequency Ablation FEM Application Using Parallel Sparse Solvers
von: Miletto, Marcelo Cogo, et al.
Veröffentlicht: (2024)

Decision Oriented Technique (DOTechnique): Finding Model Validity Through Decision-Maker Context
von: Biglari, Raheleh, et al.
Veröffentlicht: (2025)

Efficient Construction of Large Search Spaces for Auto-Tuning
von: Willemsen, Floris-Jan, et al.
Veröffentlicht: (2025)

Accelerated Feature Detectors for Visual SLAM: A Comparative Study of FPGA vs GPU
von: Ye, Ruiqi, et al.
Veröffentlicht: (2025)

FREESS: A Web-Based Educational Simulator for a RISC-V-Inspired Superscalar Processor with Tomasulo-Style Dynamic Scheduling
von: Giorgi, Roberto, et al.
Veröffentlicht: (2026)

Predictive Modeling of I/O Performance for Machine Learning Training Pipelines: A Data-Driven Approach to Storage Optimization
von: Prabhakar, Karthik, et al.
Veröffentlicht: (2025)

Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study
von: S V, Srikanta Prasad, et al.
Veröffentlicht: (2026)

LAMMPS-KOKKOS: Performance Portable Molecular Dynamics Across Exascale Architectures
von: Johansson, Anders, et al.
Veröffentlicht: (2025)

Scheduling the Unschedulable: Taming Black-Box LLM Inference at Scale
von: Yuan, Renzhong, et al.
Veröffentlicht: (2026)

Comparing Fairness of Generative Mobility Models
von: Wang, Daniel, et al.
Veröffentlicht: (2024)

Inducing Semi-Structured Sparsity by Masking for Efficient Model Inference in Convolutional Networks
von: Danhofer, David A.
Veröffentlicht: (2024)

Kunlun Anomaly Troubleshooter: Enabling Kernel-Level Anomaly Detection and Causal Reasoning for Large Model Distributed Inference
von: Liu, Yuyang, et al.
Veröffentlicht: (2025)

Dialects for CoAP-like Messaging Protocols
von: Talcott, Carolyn
Veröffentlicht: (2024)

GenAI Models Capture Urban Science but Oversimplify Complexity
von: Zhang, Yecheng, et al.
Veröffentlicht: (2025)

Forests of Uncertaint(r)ees: Using tree-based ensembles to estimate probability distributions of future conflict
von: Mittermaier, Daniel, et al.
Veröffentlicht: (2025)

DEpiABS: Differentiable Epidemic Agent-Based Simulator
von: Gao, Zhijian, et al.
Veröffentlicht: (2026)

The 2023/24 VIEWS Prediction Challenge: Predicting the Number of Fatalities in Armed Conflict, with Uncertainty
von: Hegre, Håvard, et al.
Veröffentlicht: (2024)

FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator
von: Gupta, Sunny, et al.
Veröffentlicht: (2024)

Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly
von: Woisetschläger, Herbert, et al.
Veröffentlicht: (2023)

Requirements for Quality Assurance of AI Models for Early Detection of Lung Cancer
von: Hahn, Horst K., et al.
Veröffentlicht: (2025)

MoE-Prefill: Zero Redundancy Overheads in MoE Prefill Serving
von: Su, Zhaoyuan, et al.
Veröffentlicht: (2026)

CEO-DC: Driving Decarbonization in HPC Data Centers with Actionable Insights
von: Álvarez, Rubén Rodríguez, et al.
Veröffentlicht: (2025)

Chance-Constrained MPPI under State and Dynamic Object Prediction Uncertainty and the Evaluation of Collision Risk Calibration
von: Serfling, Benjamin, et al.
Veröffentlicht: (2026)

The Nash-MTL-STCN Method For Prestack Three-Parameter Inversion
von: Liu, Yingtian, et al.
Veröffentlicht: (2024)

Next-Generation Event-Driven Architectures: Performance, Scalability, and Intelligent Orchestration Across Messaging Frameworks
von: Arafat, Jahidul, et al.
Veröffentlicht: (2025)

Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
von: Kolluru, Saicharan
Veröffentlicht: (2025)

Robustness of Spatio-temporal Graph Neural Networks for Fault Location in Partially Observable Distribution Grids
von: Karabulut, Burak, et al.
Veröffentlicht: (2026)

FEDTAIL: Federated Long-Tailed Domain Generalization with Sharpness-Guided Gradient Matching
von: Gupta, Sunny, et al.
Veröffentlicht: (2025)

MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices
von: Shakerdargah, Mohammadali, et al.
Veröffentlicht: (2024)

Which Backbone to Use: A Resource-efficient Domain Specific Comparison for Computer Vision
von: Jeevan, Pranav, et al.
Veröffentlicht: (2024)