Buchumschlag

Scalability Optimization in Cloud-Based AI Inference Services: Strategies for Real-Time Load Balancing and Automated Scaling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jin, Yihong, Yang, Ze
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence F.2.2; I.2.8
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Evaluating Large Language Models for Workload Mapping and Scheduling in Heterogeneous HPC Systems
von: Sharma, Aasish Kumar, et al.
Veröffentlicht: (2025)

FedMon: Federated eBPF Monitoring for Distributed Anomaly Detection in Multi-Cluster Cloud Environments
von: Zehra, Sehar, et al.
Veröffentlicht: (2025)

AAFLOW: Scalable Patterns for Agentic AI Workflows
von: Sarker, Arup Kumar, et al.
Veröffentlicht: (2026)

Experimentally Evaluating the Resource Efficiency of Big Data Autoscaling
von: Will, Jonathan, et al.
Veröffentlicht: (2025)

Scalable overset computation between a forest-of-octrees- and an arbitrary distributed parallel mesh
von: Brandt, Hannes, et al.
Veröffentlicht: (2026)

CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction
von: Sun, He, et al.
Veröffentlicht: (2026)

Deadline-Aware Joint Task Scheduling and Offloading in Mobile Edge Computing Systems
von: Nguyen, Ngoc Hung, et al.
Veröffentlicht: (2025)

Sublinear-Time Sampling of Spanning Trees in the Congested Clique
von: Pemmaraju, Sriram V., et al.
Veröffentlicht: (2024)

Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference
von: Gao, Yuxuan, et al.
Veröffentlicht: (2026)

A Note on Solving Problems of Substantially Super-linear Complexity in $N^{o(1)}$ Rounds of the Congested Clique
von: Lingas, Andrzej
Veröffentlicht: (2024)

Scalable Co-Clustering for Large-Scale Data through Dynamic Partitioning and Hierarchical Merging
von: Wu, Zihan, et al.
Veröffentlicht: (2024)

Efficient Construction of Large Search Spaces for Auto-Tuning
von: Willemsen, Floris-Jan, et al.
Veröffentlicht: (2025)

Deterministic Fault-Tolerant Local Load Balancing and its Applications against Adaptive Adversaries
von: Kowalski, Dariusz R., et al.
Veröffentlicht: (2025)

Data Scheduling Algorithm for Scalable and Efficient IoT Sensing in Cloud Computing
von: Mohammad, Noor Islam S.
Veröffentlicht: (2025)

Near-Optimal Wafer-Scale Reduce
von: Luczynski, Piotr, et al.
Veröffentlicht: (2024)

Challenges of Heterogeneity in Big Data: A Comparative Study of Classification in Large-Scale Structured and Unstructured Domains
von: Eduardo, González Trigueros Jesús, et al.
Veröffentlicht: (2025)

Obfuscated Consensus
von: Aspnes, James, et al.
Veröffentlicht: (2025)

Why Canonical Rounds Fail for Optimal Byzantine Resilience
von: Attiya, Hagit, et al.
Veröffentlicht: (2025)

Improving Efficiency in Near-State and State-Optimal Self-Stabilising Leader Election Population Protocols
von: Gąsieniec, Leszek, et al.
Veröffentlicht: (2025)

Anonymous Self-Stabilising Localisation via Spatial Population Protocols
von: Gąsieniec, Leszek, et al.
Veröffentlicht: (2024)

An Analysis of Avalanche Consensus
von: Amores-Sesar, Ignacio, et al.
Veröffentlicht: (2024)

The consensus number of a shift register equals its width
von: Aspnes, James
Veröffentlicht: (2025)

Clock Synchronization Is Almost Impossible with Bounded Memory
von: Charron-Bost, Bernadette, et al.
Veröffentlicht: (2024)

RadiK: Scalable and Optimized GPU-Parallel Radix Top-K Selection
von: Li, Yifei, et al.
Veröffentlicht: (2025)

Cost-Aware Logging: Measuring the Financial Impact of Excessive Log Retention in Small-Scale Cloud Deployments
von: Putra, Jody Almaida
Veröffentlicht: (2026)

Deploy, Calibrate, Monitor, Heal -- No Human Required: An Autonomous AI SRE Agent for Elasticsearch
von: Mukkolakkal, Muhamed Ramees Cheriya
Veröffentlicht: (2026)

Agentic Compilation: Mitigating the LLM Rerun Crisis for Minimized-Inference-Cost Web Automation
von: Chundru, Jagadeesh
Veröffentlicht: (2026)

Low-Bandwidth Matrix Multiplication: Faster Algorithms and More General Forms of Sparsity
von: Gupta, Chetan, et al.
Veröffentlicht: (2024)

Optimizing edge AI models on HPC systems with the edge in the loop
von: Aach, Marcel, et al.
Veröffentlicht: (2025)

Boolean Matrix Multiplication for Highly Clustered Data on the Congested Clique
von: Lingas, Andrzej
Veröffentlicht: (2024)

Augmenting the FedProx Algorithm by Minimizing Convergence
von: Sarkar, Anomitra, et al.
Veröffentlicht: (2024)

N2N: A Parallel Framework for Large-Scale MILP under Distributed Memory
von: Wang, Longfei, et al.
Veröffentlicht: (2025)

Learning Interpretable Scheduling Algorithms for Data Processing Clusters
von: Hu, Zhibo, et al.
Veröffentlicht: (2024)

Scalable Mesh Coupling for Atmospheric Wave Simulation
von: Brandt, Hannes, et al.
Veröffentlicht: (2026)

Heuristic Search Space Partitioning for Low-Latency Multi-Tenant Cloud Queries
von: Pathak, Prashant Kumar, et al.
Veröffentlicht: (2026)

Operational Memory Architecture for Kubernetes:Preserving Causal Context Across the Evidence Horizon
von: Khan, Shamsher
Veröffentlicht: (2026)

Distributed Rhombus Formation of Sliding Squares
von: Kostitsyna, Irina, et al.
Veröffentlicht: (2025)

FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems
von: Woisetschläger, Herbert, et al.
Veröffentlicht: (2023)

When Does Global Attention Help? A Unified Empirical Study on Atomistic Graph Learning
von: Chowdhury, Arindam, et al.
Veröffentlicht: (2025)

Benchmarking Federated Learning for Throughput Prediction in 5G Live Streaming Applications
von: Dutta, Yuvraj, et al.
Veröffentlicht: (2025)