Buchumschlag

Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qin, Ruiyang, Liu, Dancheng, Xu, Chenhui, Yan, Zheyu, Tan, Zhaoxuan, Jia, Zhenge, Nassereldine, Amir, Li, Jiajie, Jiang, Meng, Abbasi, Ahmed, Xiong, Jinjun, Shi, Yiyu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PI-Whisper: Designing an Adaptive and Incremental Automatic Speech Recognition System for Edge Devices
von: Nassereldine, Amir, et al.
Veröffentlicht: (2024)

Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
von: Hu, Yuting, et al.
Veröffentlicht: (2025)

Ensembler: Protect Collaborative Inference Privacy from Model Inversion Attack via Selective Ensemble
von: Liu, Dancheng, et al.
Veröffentlicht: (2024)

NVCiM-PT: An NVCiM-assisted Prompt Tuning Framework for Edge LLMs
von: Qin, Ruiyang, et al.
Veröffentlicht: (2024)

FP64 is All You Need: Rethinking Failure Modes in Physics-Informed Neural Networks
von: Xu, Chenhui, et al.
Veröffentlicht: (2025)

Towards Pretraining Robust ASR Foundation Model with Acoustic-Aware Data Augmentation
von: Liu, Dancheng, et al.
Veröffentlicht: (2025)

FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models
von: Qin, Ruiyang, et al.
Veröffentlicht: (2024)

Towards Understanding Multi-Round Large Language Model Reasoning: Approximability, Learnability and Generalizability
von: Xu, Chenhui, et al.
Veröffentlicht: (2025)

Large Language Models have Intrinsic Self-Correction Ability
von: Liu, Dancheng, et al.
Veröffentlicht: (2024)

Robust Implementation of Retrieval-Augmented Generation on Edge-based Computing-in-Memory Architectures
von: Qin, Ruiyang, et al.
Veröffentlicht: (2024)

Tiny-Align: Bridging Automatic Speech Recognition and Large Language Model on the Edge
von: Qin, Ruiyang, et al.
Veröffentlicht: (2024)

Sub-Sequential Physics-Informed Learning with State Space Model
von: Xu, Chenhui, et al.
Veröffentlicht: (2025)

Enabling On-Device Large Language Model Personalization with Self-Supervised Data Selection and Synthesis
von: Qin, Ruiyang, et al.
Veröffentlicht: (2023)

Recognize Any Surgical Object: Unleashing the Power of Weakly-Supervised Data
von: Li, Jiajie, et al.
Veröffentlicht: (2025)

Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
von: Liu, Dancheng, et al.
Veröffentlicht: (2024)

FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
von: Liu, Dancheng, et al.
Veröffentlicht: (2024)

Vertical Growth of Facial Soft Tissues: A Longitudinal Three‐Dimensional Facial Growth Study
von: Signe Silinevica, et al.
Veröffentlicht: (2026)

Chain-of-Adaptation: Surgical Vision-Language Adaptation with Reinforcement Learning
von: Li, Jiajie, et al.
Veröffentlicht: (2026)

xMLP: Revolutionizing Private Inference with Exclusive Square Activation
von: Li, Jiajie, et al.
Veröffentlicht: (2024)

An Adaptive System for Wearable Devices to Detect Stress Using Physiological Signals
von: Xu, Gelei, et al.
Veröffentlicht: (2024)

Efficient Deployment of Large Language Models on Resource-constrained Devices
von: Yao, Zhiwei, et al.
Veröffentlicht: (2025)

Special Session: Sustainable Deployment of Deep Neural Networks on Non-Volatile Compute-in-Memory Accelerators
von: Qin, Yifan, et al.
Veröffentlicht: (2025)

Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
von: Hu, Yuting, et al.
Veröffentlicht: (2024)

TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators
von: Qin, Yifan, et al.
Veröffentlicht: (2024)

KidSpeak: A General Multi-purpose LLM for Kids' Speech Recognition and Screening
von: Sharma, Rohan, et al.
Veröffentlicht: (2025)

Rethinking Medical Anomaly Detection in Brain MRI: An Image Quality Assessment Perspective
von: Pan, Zixuan, et al.
Veröffentlicht: (2024)

Betti Numbers of Edge Ideals of Weighted Oriented Crown Graphs
von: Wang, Zexin, et al.
Veröffentlicht: (2025)

SlimEdge: Performance and Device Aware Distributed DNN Deployment on Resource-Constrained Edge Hardware
von: Kumar, Mahadev Sunil, et al.
Veröffentlicht: (2025)

Panopticus: Omnidirectional 3D Object Detection on Resource-constrained Edge Devices
von: Lee, Jeho, et al.
Veröffentlicht: (2024)

Selective Prior Synchronization via SYNC Loss
von: Mishra, Ishan, et al.
Veröffentlicht: (2026)

Real-Time Sound Event Localization and Detection: Deployment Challenges on Edge Devices
von: Yeow, Jun Wei, et al.
Veröffentlicht: (2024)

FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update
von: Niu, Ziru, et al.
Veröffentlicht: (2024)

QuadraNet V2: Efficient and Sustainable Training of High-Order Neural Networks with Quadratic Adaptation
von: Xu, Chenhui, et al.
Veröffentlicht: (2024)

Rollback-Free Stable Brick Structures Generation
von: Xu, Chenhui, et al.
Veröffentlicht: (2026)

The chain algebra of a pure poset
von: Lu, Dancheng
Veröffentlicht: (2024)

Auto-Prompt Ensemble for LLM Judge
von: Li, Jiajie, et al.
Veröffentlicht: (2025)

U-SWIM: Universal Selective Write-Verify for Computing-in-Memory Neural Accelerators
von: Yan, Zheyu, et al.
Veröffentlicht: (2023)

MorphOPC: Advancing Mask Optimization with Multi-scale Hierarchical Morphological Learning
von: Hu, Yuting, et al.
Veröffentlicht: (2026)

Jupiter: Fast and Resource-Efficient Collaborative Inference of Generative LLMs on Edge Devices
von: Ye, Shengyuan, et al.
Veröffentlicht: (2025)

A 10.60 $μ$W 150 GOPS Mixed-Bit-Width Sparse CNN Accelerator for Life-Threatening Ventricular Arrhythmia Detection
von: Qin, Yifan, et al.
Veröffentlicht: (2024)