Buchumschlag

Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Yilong, Zhang, Shuai, Zeng, Yijing, Zhang, Hao, Xiong, Xinmiao, Liu, Jingyu, Hu, Pan, Banerjee, Suman
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence Computation and Language Signal Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Benchmarking Compound AI Applications for Hardware-Software Co-Design
von: Samuthrsindh, Paramuth, et al.
Veröffentlicht: (2026)

TokenSim: Enabling Hardware and Software Exploration for Large Language Model Inference Systems
von: Wu, Feiyang, et al.
Veröffentlicht: (2025)

PICO: Pipeline Inference Framework for Versatile CNNs on Diverse Mobile Devices
von: Yang, Xiang, et al.
Veröffentlicht: (2022)

Distributed On-Device LLM Inference With Over-the-Air Computation
von: Zhang, Kai, et al.
Veröffentlicht: (2025)

Exploring the Boundaries of On-Device Inference: When Tiny Falls Short, Go Hierarchical
von: Behera, Adarsh Prasad, et al.
Veröffentlicht: (2024)

ReviveMoE: Fast Recovery for Hardware Failures in Large-Scale MoE LLM Inference Deployments
von: Li, Haley, et al.
Veröffentlicht: (2026)

Multi-core & GPU-based Balanced Butterfly Counting in Signed Bipartite Graphs
von: Kiran, Mekala, et al.
Veröffentlicht: (2026)

AdaOper: Energy-efficient and Responsive Concurrent DNN Inference on Mobile Devices
von: Lin, Zheng, et al.
Veröffentlicht: (2024)

LIME:Accelerating Collaborative Lossless LLM Inference on Memory-Constrained Edge Devices
von: Sun, Mingyu, et al.
Veröffentlicht: (2025)

Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning
von: An, Wei, et al.
Veröffentlicht: (2024)

Arrow: Adaptive Scheduling Mechanisms for Disaggregated LLM Inference Architecture
von: Wu, Yu, et al.
Veröffentlicht: (2025)

Adaptive Heuristics for Scheduling DNN Inferencing on Edge and Cloud for Personalized UAV Fleets
von: Raj, Suman, et al.
Veröffentlicht: (2024)

Loki: A System for Serving ML Inference Pipelines with Hardware and Accuracy Scaling
von: Ahmad, Sohaib, et al.
Veröffentlicht: (2024)

FlexPie: Accelerate Distributed Inference on Edge Devices with Flexible Combinatorial Optimization[Technical Report]
von: Zhang, Runhua, et al.
Veröffentlicht: (2025)

Pico-Cloud: Cloud Infrastructure for Tiny Edge Devices
von: Guri, Mordechai
Veröffentlicht: (2025)

SLO-Aware Scheduling for Large Language Model Inferences
von: Huang, Jinqi, et al.
Veröffentlicht: (2025)

Power Aware Dynamic Reallocation For Inference
von: Jiang, Yiwei, et al.
Veröffentlicht: (2026)

Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
von: Arima, Eishi, et al.
Veröffentlicht: (2024)

CoCoI: Distributed Coded Inference System for Straggler Mitigation
von: Liu, Xing, et al.
Veröffentlicht: (2025)

GPUArmor: A Hardware-Software Co-design for Efficient and Scalable Memory Safety on GPUs
von: Ziad, Mohamed Tarek Ibn, et al.
Veröffentlicht: (2025)

Evaluating Multi-Instance DNN Inferencing on Multiple Accelerators of an Edge Device
von: Tayal, Mumuksh, et al.
Veröffentlicht: (2025)

SLICE: SLO-Driven Scheduling for LLM Inference on Edge Computing Devices
von: Chow, Will
Veröffentlicht: (2025)

Energy-aware Incremental OTA Update for Flash-based Batteryless IoT Devices
von: Wei, Wei, et al.
Veröffentlicht: (2024)

Understanding the Performance and Power of LLM Inferencing on Edge Accelerators
von: Arya, Mayank, et al.
Veröffentlicht: (2025)

xNVMe: Unleashing Storage Hardware-Software Co-design
von: Lund, Simon A. F., et al.
Veröffentlicht: (2024)

Improved Decision Module Selection for Hierarchical Inference in Resource-Constrained Edge Devices
von: Behera, Adarsh Prasad, et al.
Veröffentlicht: (2024)

Distributed Generative Inference of LLM at Internet Scales with Multi-Dimensional Communication Optimization
von: Chen, Jiu, et al.
Veröffentlicht: (2026)

Extracting the Potential of Emerging Hardware Accelerators for Symmetric Eigenvalue Decomposition
von: Wang, Hansheng, et al.
Veröffentlicht: (2024)

Cicada: A Pipeline-Efficient Approach to Serverless Inference with Decoupled Management
von: Wu, Z., et al.
Veröffentlicht: (2025)

DynaSplit: A Hardware-Software Co-Design Framework for Energy-Aware Inference on Edge
von: May, Daniel, et al.
Veröffentlicht: (2024)

MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
von: Yang, Zheming, et al.
Veröffentlicht: (2025)

Joint Optimization of Offloading, Batching and DVFS for Multiuser Co-Inference
von: Xu, Yaodan, et al.
Veröffentlicht: (2025)

LLM-CoOpt: A Co-Design and Optimization Framework for Efficient LLM Inference on Heterogeneous Platforms
von: Kong, Jie, et al.
Veröffentlicht: (2026)

Adaptive Device-Edge Collaboration on DNN Inference in AIoT: A Digital Twin-Assisted Approach
von: Hu, Shisheng, et al.
Veröffentlicht: (2024)

CoCoDiff: Optimizing Collective Communications for Distributed Diffusion Transformer Inference Under Ulysses Sequence Parallelism
von: Ma, Bin, et al.
Veröffentlicht: (2026)

PIM-SHERPA: Software Method for On-device LLM Inference by Resolving PIM Memory Attribute and Layout Inconsistencies
von: Lee, Sunjung, et al.
Veröffentlicht: (2026)

TT-Edge: A Hardware-Software Co-Design for Energy-Efficient Tensor-Train Decomposition on Edge AI
von: Kwak, Hyunseok, et al.
Veröffentlicht: (2025)

ReaLB: Real-Time Load Balancing for Multimodal MoE Inference
von: Wang, Yingping, et al.
Veröffentlicht: (2026)

Future-Proofing IoT: Unleashing the Power of AWS Greengrass in Propelling Smart Devices to New Heights
von: Kokkula, Sahasra, et al.
Veröffentlicht: (2024)

SimDC: A High-Fidelity Device Simulation Platform for Device-Cloud Collaborative Computing
von: Pei, Ruiguang, et al.
Veröffentlicht: (2025)