Copertina

Token Management in Multi-Tenant AI Inference Platforms

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Cunningham, William J.
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Distributed, Parallel, and Cluster Computing Machine Learning Operating Systems
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Equilibria: Fair Multi-Tenant CXL Memory Tiering At Scale
di: Zhao, Kaiyang, et al.
Pubblicazione: (2026)

THEMIS: Time, Heterogeneity, and Energy Minded Scheduling for Fair Multi-Tenant Use in FPGAs
di: Karabulut, Emre, et al.
Pubblicazione: (2024)

LatencyPrism: Online Non-intrusive Latency Sculpting for SLO-Guaranteed LLM Inference
di: Du, Yin, et al.
Pubblicazione: (2026)

EROICA: Online Performance Troubleshooting for Large-scale Model Training
di: Guan, Yu, et al.
Pubblicazione: (2025)

Dynamic Optimization of Storage Systems Using Reinforcement Learning Techniques
di: Cheng, Chiyu, et al.
Pubblicazione: (2024)

Optimizing SSD Caches for Cloud Block Storage Systems Using Machine Learning Approaches
di: Cheng, Chiyu, et al.
Pubblicazione: (2024)

Learning Semantics, Not Addresses: Runtime Neural Prefetching for Far Memory
di: Huang, Yutong, et al.
Pubblicazione: (2025)

Dynamic Adaptation in Data Storage: Real-Time Machine Learning for Enhanced Prefetching
di: Cheng, Chiyu, et al.
Pubblicazione: (2024)

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models
di: Kamahori, Keisuke, et al.
Pubblicazione: (2024)

Peformance Isolation for Inference Processes in Edge GPU Systems
di: Martín, Juan José, et al.
Pubblicazione: (2026)

Optimizing Task Scheduling in Heterogeneous Computing Environments: A Comparative Analysis of CPU, GPU, and ASIC Platforms Using E2C Simulator
di: Mohammadjafari, Ali, et al.
Pubblicazione: (2024)

ConsumerBench: Benchmarking Generative AI Applications on End-User Devices
di: Gu, Yile, et al.
Pubblicazione: (2025)

ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
di: Zou, Jing, et al.
Pubblicazione: (2026)

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems
di: Wang, Yifei, et al.
Pubblicazione: (2026)

Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads
di: Roca, Aleix, et al.
Pubblicazione: (2026)

Ensuring Data Freshness in Multi-Rate Task Chains Scheduling
di: Hoffmann, José Luis Conradi, et al.
Pubblicazione: (2026)

Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
di: Siavashi, Mohammad, et al.
Pubblicazione: (2026)

Demystifying Serverless Costs on Public Platforms: Bridging Billing, Architecture, and OS Scheduling
di: Lin, Changyuan, et al.
Pubblicazione: (2025)

Samoyeds: Accelerating MoE Models with Structured Sparsity Leveraging Sparse Tensor Cores
di: Wu, Chenpeng, et al.
Pubblicazione: (2025)

Mitigating GIL Bottlenecks in Edge AI Systems
di: Mandal, Mridankan, et al.
Pubblicazione: (2026)

Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation
di: Agarwal, Shubham, et al.
Pubblicazione: (2025)

DPC: A Distributed Page Cache over CXL
di: Bergman, Shai, et al.
Pubblicazione: (2026)

EdgeFlow: Fast Cold Starts for LLMs on Mobile Devices
di: Yan, Yongsheng, et al.
Pubblicazione: (2026)

A Periodic Space of Distributed Computing: Vision & Framework
di: Salehi, Mohsen Amini, et al.
Pubblicazione: (2026)

Performance Isolation and Semantic Determinism in Efficient GPU Spatial Sharing
di: Yang, Zhenyuan, et al.
Pubblicazione: (2026)

CvxCluster: Solving Large, Complex, Granular Resource Allocation Problems 100-1000x Faster
di: Nnorom Jr, Obi, et al.
Pubblicazione: (2026)

GPUOS: A GPU Operating System Primitive for Transparent Operation Fusion
di: Yang, Yiwei, et al.
Pubblicazione: (2026)

"Range as a Key" is the Key! Fast and Compact Cloud Block Store Index with RASK
di: Zhao, Haoru, et al.
Pubblicazione: (2026)

Rethinking Inter-Process Communication with Memory Operation Offloading
di: Park, Misun, et al.
Pubblicazione: (2026)

Why iCloud Fails: The Category Mistake of Cloud Synchronization
di: Borrill, Paul
Pubblicazione: (2026)

Characterizing Metastable Faults and Failures
di: Farahbakhsh, Ali, et al.
Pubblicazione: (2026)

NCCLbpf: Verified, Composable Policy Execution for GPU Collective Communication
di: Zheng, Yusheng
Pubblicazione: (2026)

Nixie: Efficient, Transparent Temporal Multiplexing for Consumer GPUs
di: Xu, Yechen, et al.
Pubblicazione: (2026)

Idiosyncrasies of Programmable Caching Engines
di: Peixoto, José, et al.
Pubblicazione: (2026)

Fork, Explore, Commit: OS Primitives for Agentic Exploration
di: Wang, Cong, et al.
Pubblicazione: (2026)

TIDAL: Recovering Temporal Phase for Cloud Block Storage Placement from LLM-Derived Semantics
di: Tan, Difan, et al.
Pubblicazione: (2026)

Nexus: Transparent I/O Offloading for High-Density Serverless Computing
di: Park, JooYoung, et al.
Pubblicazione: (2026)

EdgeWeaver: Accelerating IoT Application Development Across Edge-Cloud Continuum
di: Lertpongrujikorn, Pawissanutt, et al.
Pubblicazione: (2026)

LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling
di: Zhang, Dingyan, et al.
Pubblicazione: (2026)

Mitigating context switching in densely packed Linux clusters with Latency-Aware Group Scheduling
di: Isstaif, Al Amjad Tawfiq, et al.
Pubblicazione: (2025)