Buchumschlag

Edge-First Language Model Inference: Models, Metrics, and Tradeoffs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jang, SiYoung, Morabito, Roberto
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence Networking and Internet Architecture Performance
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Smaller, Smarter, Closer: The Edge of Collaborative Generative AI
von: Morabito, Roberto, et al.
Veröffentlicht: (2025)

Generative AI on the Edge: Architecture and Performance Evaluation
von: Nezami, Zeinab, et al.
Veröffentlicht: (2024)

Adaptive DNN Partitioning and Offloading in Heterogeneous Edge-Cloud Continuum
von: Deng, Akuen Akoi, et al.
Veröffentlicht: (2026)

Towards Edge General Intelligence via Large Language Models: Opportunities and Challenges
von: Chen, Handi, et al.
Veröffentlicht: (2024)

Optimizing Resource Allocation for Geographically-Distributed Inference by Large Language Models
von: Sun, Tingyang, et al.
Veröffentlicht: (2025)

Trust-Aware Routing for Distributed Generative AI Inference at the Edge
von: Nguyen, Chanh, et al.
Veröffentlicht: (2026)

Towards Safer Heuristics With XPlain
von: Karimi, Pantea, et al.
Veröffentlicht: (2024)

JANUS: Resilient and Adaptive Data Transmission for Enabling Timely and Efficient Cross-Facility Scientific Workflows
von: Esaulov, Vladislav, et al.
Veröffentlicht: (2025)

Local Rendezvous Hashing: Bounded Loads and Minimal Churn via Cache-Local Candidates
von: Guan, Yongjie
Veröffentlicht: (2025)

Performance and Stability of Barrier Mode Parallel Systems with Heterogeneous and Redundant Jobs
von: Walker, Brenton, et al.
Veröffentlicht: (2025)

PANDAS: Peer-to-peer, Adaptive Networking for Data Availability Sampling within Ethereum Consensus Timebounds
von: Pigaglio, Matthieu, et al.
Veröffentlicht: (2025)

MultiPath Memory Access: Breaking Host-GPU Bandwidth Bottlenecks in LLM Services
von: Tang, Lingfeng, et al.
Veröffentlicht: (2025)

Energy-Efficient and High-Performance Data Transfers with DRL Agents
von: Jamil, Hasibul, et al.
Veröffentlicht: (2025)

EvalNet: A Practical Toolchain for Generation and Analysis of Extreme-Scale Interconnects
von: Besta, Maciej, et al.
Veröffentlicht: (2021)

Joint Network Slicing, Routing, and In-Network Computing for Energy-Efficient 6G
von: Sasan, Zeinab, et al.
Veröffentlicht: (2024)

FPsPIN: An FPGA-based Open-Hardware Research Platform for Processing in the Network
von: Schneider, Timo, et al.
Veröffentlicht: (2024)

On the Bandwidth Consumption of Blockchains
von: Lebedev, Andrei, et al.
Veröffentlicht: (2026)

TraDE: Network and Traffic-aware Adaptive Scheduling for Microservices Under Dynamics
von: Chen, Ming, et al.
Veröffentlicht: (2024)

HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network
von: Zheng, Peirong, et al.
Veröffentlicht: (2026)

Jupiter: Fast and Resource-Efficient Collaborative Inference of Generative LLMs on Edge Devices
von: Ye, Shengyuan, et al.
Veröffentlicht: (2025)

XWind: A Cross-site Router for Large Language Model Inference Serving at Renewable Energy Farms
von: Reddy, Tella Rajashekhar, et al.
Veröffentlicht: (2026)

Benchmarking Dynamic SLO Compliance in Distributed Computing Continuum Systems
von: Lapkovskis, Alfreds, et al.
Veröffentlicht: (2025)

Sometimes Painful but Certainly Promising: Feasibility and Trade-offs of Language Model Inference at the Edge
von: Abstreiter, Maximilian, et al.
Veröffentlicht: (2025)

Early-Exit meets Model-Distributed Inference at Edge Networks
von: Colocrese, Marco, et al.
Veröffentlicht: (2024)

QECO: A QoE-Oriented Computation Offloading Algorithm based on Deep Reinforcement Learning for Mobile Edge Computing
von: Rahmaty, Iman, et al.
Veröffentlicht: (2023)

Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference
von: Sharma, Pragya, et al.
Veröffentlicht: (2026)

AFLL: Real-time Load Stabilization for MMO Game Servers Based on Circular Causality Learning
von: Kang, Shinsuk, et al.
Veröffentlicht: (2026)

Agentic Performance at the Edge: Insights from Benchmarking
von: Wang, Shiqiang, et al.
Veröffentlicht: (2026)

Design and Optimization of Hierarchical Gradient Coding for Distributed Learning at Edge Devices
von: Tang, Weiheng, et al.
Veröffentlicht: (2024)

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers
von: Renney, Harri, et al.
Veröffentlicht: (2026)

AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron
von: Reddy, Tella Rajashekhar, et al.
Veröffentlicht: (2025)

Cluster Topology-Driven Placement of Experts Reduces Network Traffic in MoE Inference
von: Sivtsov, Danil, et al.
Veröffentlicht: (2025)

SpaceMoE: Realizing Distributed Mixture-of-Experts Inference over Space Networks
von: Wang, Zhanwei, et al.
Veröffentlicht: (2026)

Digital Twinning of a Pressurized Water Reactor Startup Operation and Partial Computational Offloading in In-network Computing-Assisted Multiaccess Edge Computing
von: Aliyu, Ibrahim, et al.
Veröffentlicht: (2024)

Resource-Efficient Personal Large Language Models Fine-Tuning with Collaborative Edge Computing
von: Ye, Shengyuan, et al.
Veröffentlicht: (2024)

The Implications of Decentralization in Blockchained Federated Learning: Evaluating the Impact of Model Staleness and Inconsistencies
von: Wilhelmi, Francesc, et al.
Veröffentlicht: (2023)

Rina: Enhancing Ring-AllReduce with In-network Aggregation in Distributed Model Training
von: Chen, Zixuan, et al.
Veröffentlicht: (2024)

ScaleAcross Explorer: Exploring Communication Optimization for Scale-Across AI Model Training
von: Li, Minghao, et al.
Veröffentlicht: (2026)

A Generative Caching System for Large Language Models
von: Iyengar, Arun, et al.
Veröffentlicht: (2025)

Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks
von: Wang, Su, et al.
Veröffentlicht: (2023)