Copertina

SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Park, Jinwoo, Cho, Seunggeun, Han, Dongsu
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Efficiently Distilling LLMs for Edge Applications
di: Kundu, Achintya, et al.
Pubblicazione: (2024)

HiSpec: Hierarchical Speculative Decoding for LLMs
di: Kumar, Avinash, et al.
Pubblicazione: (2025)

Self-Consistency Is Losing Its Edge: Diminishing Returns and Rising Costs in Modern LLMs
di: Loo, Chiyan
Pubblicazione: (2025)

Natural Language Interaction with Databases on Edge Devices in the Internet of Battlefield Things
di: Molek, Christopher D., et al.
Pubblicazione: (2025)

A Scalable Entity-Based Framework for Auditing Bias in LLMs
di: Elbouanani, Akram, et al.
Pubblicazione: (2026)

Agile-Quant: Activation-Guided Quantization for Faster Inference of LLMs on the Edge
di: Shen, Xuan, et al.
Pubblicazione: (2023)

A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems
di: Liu, Yuze, et al.
Pubblicazione: (2025)

Truth, Trust, and Trouble: Medical AI on the Edge
di: Azeez, Mohammad Anas, et al.
Pubblicazione: (2025)

ShED-HD: A Shannon Entropy Distribution Framework for Lightweight Hallucination Detection on Edge Devices
di: Vathul, Aneesh, et al.
Pubblicazione: (2025)

Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size in Large Language Models From Edge to Giant
di: Lee, Jemin, et al.
Pubblicazione: (2024)

Bitnet.cpp: Efficient Edge Inference for Ternary LLMs
di: Wang, Jinheng, et al.
Pubblicazione: (2025)

CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge
di: Chiu, Yu Ying, et al.
Pubblicazione: (2024)

Joint Extraction of Uyghur Medicine Knowledge with Edge Computing
di: Lu, Fan, et al.
Pubblicazione: (2024)

Chatting with Bots: AI, Speech Acts, and the Edge of Assertion
di: Williams, Iwan, et al.
Pubblicazione: (2024)

Squat: Quant Small Language Models on the Edge
di: Shen, Xuan, et al.
Pubblicazione: (2024)

Fox-1: Open Small Language Model for Cloud and Edge
di: Hu, Zijian, et al.
Pubblicazione: (2024)

Waterfall: Framework for Robust and Scalable Text Watermarking and Provenance for LLMs
di: Lau, Gregory Kang Ruey, et al.
Pubblicazione: (2024)

DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
di: Li, Guanghao, et al.
Pubblicazione: (2025)

SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
di: Sun, Ryan, et al.
Pubblicazione: (2024)

TEG-DB: A Comprehensive Dataset and Benchmark of Textual-Edge Graphs
di: Li, Zhuofeng, et al.
Pubblicazione: (2024)

Recursive Chain-of-Feedback Prevents Performance Degradation from Redundant Prompting
di: Ahn, Jinwoo, et al.
Pubblicazione: (2024)

AgentSpec: Customizable Runtime Enforcement for Safe and Reliable LLM Agents
di: Wang, Haoyu, et al.
Pubblicazione: (2025)

Tabular Transfer Learning via Prompting LLMs
di: Nam, Jaehyun, et al.
Pubblicazione: (2024)

E-ARMOR: Edge case Assessment and Review of Multilingual Optical Character Recognition
di: Gupta, Aryan, et al.
Pubblicazione: (2025)

Scalable multilingual PII annotation for responsible AI in LLMs
di: Meena, Bharti, et al.
Pubblicazione: (2025)

SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
di: Li, Shenggui, et al.
Pubblicazione: (2026)

Enabling Scalable Evaluation of Bias Patterns in Medical LLMs
di: Fayyaz, Hamed, et al.
Pubblicazione: (2024)

SpecVLM: Enhancing Speculative Decoding of Video LLMs via Verifier-Guided Token Pruning
di: Ji, Yicheng, et al.
Pubblicazione: (2025)

Leveraging Edge Intelligence and LLMs to Advance 6G-Enabled Internet of Automated Defense Vehicles
di: Onsu, Murat Arda, et al.
Pubblicazione: (2024)

Stress-Testing Model Specs Reveals Character Differences among Language Models
di: Zhang, Jifan, et al.
Pubblicazione: (2025)

SpecFuse: Ensembling Large Language Models via Next-Segment Prediction
di: Lv, Bo, et al.
Pubblicazione: (2024)

Chain-of-Rank: Enhancing Large Language Models for Domain-Specific RAG in Edge Device
di: Lee, Juntae, et al.
Pubblicazione: (2025)

Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
di: Joo, Minsuh, et al.
Pubblicazione: (2025)

Mnemosyne: An Unsupervised, Human-Inspired Long-Term Memory Architecture for Edge-Based LLMs
di: Jonelagadda, Aneesh, et al.
Pubblicazione: (2025)

Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency
di: Husom, Erik Johannes, et al.
Pubblicazione: (2025)

RealMem: Benchmarking LLMs in Real-World Memory-Driven Interaction
di: Bian, Haonan, et al.
Pubblicazione: (2026)

ConfSpec: Efficient Step-Level Speculative Reasoning via Confidence-Gated Verification
di: Liu, Siran, et al.
Pubblicazione: (2026)

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation
di: Zhang, Shuyu, et al.
Pubblicazione: (2026)

Beyond Line-Level Filtering for the Pretraining Corpora of LLMs
di: Park, Chanwoo, et al.
Pubblicazione: (2025)

FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices
di: Gao, Zhidong, et al.
Pubblicazione: (2024)