Buchumschlag

EdgeFlow: Fast Cold Starts for LLMs on Mobile Devices

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yan, Yongsheng, Shen, Jiacheng, Luo, Xuchuan, Zhou, Yangfan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Operating Systems Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Taming Serverless Cold Starts Through OS Co-Design
von: Holmes, Ben, et al.
Veröffentlicht: (2025)

Telepathic Datacenters: Fast RPCs using Shared CXL Memory
von: Mahar, Suyash, et al.
Veröffentlicht: (2024)

EdgeWeaver: Accelerating IoT Application Development Across Edge-Cloud Continuum
von: Lertpongrujikorn, Pawissanutt, et al.
Veröffentlicht: (2026)

FastMig: Leveraging FastFreeze to Establish Robust Service Liquidity in Cloud 2.0
von: Manatura, Sorawit, et al.
Veröffentlicht: (2024)

Peformance Isolation for Inference Processes in Edge GPU Systems
von: Martín, Juan José, et al.
Veröffentlicht: (2026)

HybridTier: an Adaptive and Lightweight CXL-Memory Tiering System
von: Song, Kevin, et al.
Veröffentlicht: (2023)

BLITZSCALE: Fast and Live Large Model Autoscaling with O(1) Host Caching
von: Zhang, Dingyan, et al.
Veröffentlicht: (2024)

"Range as a Key" is the Key! Fast and Compact Cloud Block Store Index with RASK
von: Zhao, Haoru, et al.
Veröffentlicht: (2026)

LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling
von: Zhang, Dingyan, et al.
Veröffentlicht: (2026)

RAGDoll: Efficient Offloading-based Online RAG System on a Single GPU
von: Yu, Weiping, et al.
Veröffentlicht: (2025)

Mitigating GIL Bottlenecks in Edge AI Systems
von: Mandal, Mridankan, et al.
Veröffentlicht: (2026)

CIDER: Boosting Memory-Disaggregated Key-Value Stores with Pessimistic Synchronization
von: Du, Yuxuan, et al.
Veröffentlicht: (2026)

Toward Systems Foundations for Agentic Exploration
von: Xu, Jiakai, et al.
Veröffentlicht: (2025)

TIDAL: Recovering Temporal Phase for Cloud Block Storage Placement from LLM-Derived Semantics
von: Tan, Difan, et al.
Veröffentlicht: (2026)

GPUOS: A GPU Operating System Primitive for Transparent Operation Fusion
von: Yang, Yiwei, et al.
Veröffentlicht: (2026)

Towards Efficient and Practical GPU Multitasking in the Era of LLM
von: Xing, Jiarong, et al.
Veröffentlicht: (2025)

Serverless Cold Starts and Where to Find Them
von: Joosen, Artjom, et al.
Veröffentlicht: (2024)

DPC: A Distributed Page Cache over CXL
von: Bergman, Shai, et al.
Veröffentlicht: (2026)

A Periodic Space of Distributed Computing: Vision & Framework
von: Salehi, Mohsen Amini, et al.
Veröffentlicht: (2026)

Performance Isolation and Semantic Determinism in Efficient GPU Spatial Sharing
von: Yang, Zhenyuan, et al.
Veröffentlicht: (2026)

Equilibria: Fair Multi-Tenant CXL Memory Tiering At Scale
von: Zhao, Kaiyang, et al.
Veröffentlicht: (2026)

CvxCluster: Solving Large, Complex, Granular Resource Allocation Problems 100-1000x Faster
von: Nnorom Jr, Obi, et al.
Veröffentlicht: (2026)

Ensuring Data Freshness in Multi-Rate Task Chains Scheduling
von: Hoffmann, José Luis Conradi, et al.
Veröffentlicht: (2026)

Rethinking Inter-Process Communication with Memory Operation Offloading
von: Park, Misun, et al.
Veröffentlicht: (2026)

Why iCloud Fails: The Category Mistake of Cloud Synchronization
von: Borrill, Paul
Veröffentlicht: (2026)

Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads
von: Roca, Aleix, et al.
Veröffentlicht: (2026)

Characterizing Metastable Faults and Failures
von: Farahbakhsh, Ali, et al.
Veröffentlicht: (2026)

NCCLbpf: Verified, Composable Policy Execution for GPU Collective Communication
von: Zheng, Yusheng
Veröffentlicht: (2026)

Nixie: Efficient, Transparent Temporal Multiplexing for Consumer GPUs
von: Xu, Yechen, et al.
Veröffentlicht: (2026)

ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
von: Zou, Jing, et al.
Veröffentlicht: (2026)

Idiosyncrasies of Programmable Caching Engines
von: Peixoto, José, et al.
Veröffentlicht: (2026)

Fork, Explore, Commit: OS Primitives for Agentic Exploration
von: Wang, Cong, et al.
Veröffentlicht: (2026)

Nexus: Transparent I/O Offloading for High-Density Serverless Computing
von: Park, JooYoung, et al.
Veröffentlicht: (2026)

Mitigating context switching in densely packed Linux clusters with Latency-Aware Group Scheduling
von: Isstaif, Al Amjad Tawfiq, et al.
Veröffentlicht: (2025)

Unlocking True Elasticity for the Cloud-Native Era with Dandelion
von: Kuchler, Tom, et al.
Veröffentlicht: (2025)

THEMIS: Time, Heterogeneity, and Energy Minded Scheduling for Fair Multi-Tenant Use in FPGAs
von: Karabulut, Emre, et al.
Veröffentlicht: (2024)

Formal Definitions and Performance Comparison of Consistency Models for Parallel File Systems
von: Wang, Chen, et al.
Veröffentlicht: (2024)

Mewz: Lightweight Execution Environment for WebAssembly with High Isolation and Portability using Unikernels
von: Ueda, Soichiro, et al.
Veröffentlicht: (2024)

Fix: externalizing network I/O in serverless computing
von: Deng, Yuhan, et al.
Veröffentlicht: (2025)

Optimizing Task Scheduling in Heterogeneous Computing Environments: A Comparative Analysis of CPU, GPU, and ASIC Platforms Using E2C Simulator
von: Mohammadjafari, Ali, et al.
Veröffentlicht: (2024)