Buchumschlag

HillInfer: Efficient Long-Context LLM Inference on the Edge with Hierarchical KV Eviction using SmartSSD

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, He, Liu, Shinan, Li, Li, Xiao, Mingjun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Hardware Architecture
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

VEDA: Efficient LLM Generation Through Voting-based KV Cache Eviction and Dataflow-flexible Accelerator
von: Wang, Zhican, et al.
Veröffentlicht: (2025)

UniCAIM: A Unified CAM/CIM Architecture with Static-Dynamic KV Cache Pruning for Efficient Long-Context LLM Inference
von: Xu, Weikai, et al.
Veröffentlicht: (2025)

InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference
von: Pan, Xiurui, et al.
Veröffentlicht: (2024)

SwiftKV: An Edge-Oriented Attention Algorithm and Multi-Head Accelerator for Fast, Efficient LLM Decoding
von: Zhang, Junming, et al.
Veröffentlicht: (2026)

Block-SSD: A New Block-Based Blocking SSD Architecture
von: Wong, Ryan, et al.
Veröffentlicht: (2024)

Harmonia: Algorithm-Hardware Co-Design for Memory- and Compute-Efficient BFP-based LLM Inference
von: Wang, Xinyu, et al.
Veröffentlicht: (2026)

Combating the Memory Walls: Optimization Pathways for Long-Context Agentic LLM Inference
von: Wu, Haoran, et al.
Veröffentlicht: (2025)

SkyByte: Architecting an Efficient Memory-Semantic CXL-based SSD with OS and Hardware Co-design
von: Zhang, Haoyang, et al.
Veröffentlicht: (2025)

SHIELD: A Segmented Hierarchical Memory Architecture for Energy-Efficient LLM Inference on Edge NPUs
von: Zhang, Jintao, et al.
Veröffentlicht: (2026)

SSD Offloading for LLM Mixture-of-Experts Weights Considered Harmful in Energy Efficiency
von: Kyung, Kwanhee, et al.
Veröffentlicht: (2025)

TENET: An Efficient Sparsity-Aware LUT-Centric Architecture for Ternary LLM Inference On Edge
von: Huang, Zhirui, et al.
Veröffentlicht: (2025)

Adaptive KV Cache Reuse for Fast Long-Context LLM Serving
von: li, Fei, et al.
Veröffentlicht: (2026)

EdgeLLM: A Highly Efficient CPU-FPGA Heterogeneous Edge Accelerator for Large Language Models
von: Huang, Mingqiang, et al.
Veröffentlicht: (2024)

Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
von: Xia, Tianhua, et al.
Veröffentlicht: (2025)

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
von: Yao, Jiayi, et al.
Veröffentlicht: (2026)

TerEffic: Highly Efficient Ternary LLM Inference on FPGA
von: Yin, Chenyang, et al.
Veröffentlicht: (2025)

Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache
von: Lin, Bin, et al.
Veröffentlicht: (2024)

Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
von: Meng, William, et al.
Veröffentlicht: (2025)

Comparative Characterization of KV Cache Management Strategies for LLM Inference
von: Mamo, Oteo, et al.
Veröffentlicht: (2026)

Containerized In-Storage Processing and Computing-Enabled SSD Disaggregation
von: Kwon, Miryeong, et al.
Veröffentlicht: (2025)

A Systematic Characterization of LLM Inference on GPUs
von: Wang, Haonan, et al.
Veröffentlicht: (2025)

VitaLLM: A Versatile and Tiny Accelerator for Mixed-Precision LLM Inference on Edge Devices
von: Lin, Zi-Wei, et al.
Veröffentlicht: (2026)

A Dataflow Compiler for Efficient LLM Inference using Custom Microscaling Formats
von: Cheng, Jianyi, et al.
Veröffentlicht: (2023)

XtraMAC: An Efficient MAC Architecture for Mixed-Precision LLM Inference on FPGA
von: Yu, Feng, et al.
Veröffentlicht: (2026)

LP-Spec: Leveraging LPDDR PIM for Efficient LLM Mobile Speculative Inference with Architecture-Dataflow Co-Optimization
von: He, Siyuan, et al.
Veröffentlicht: (2025)

CXL Topology-Aware and Expander-Driven Prefetching: Unlocking SSD Performance
von: Oh, Dongsuk, et al.
Veröffentlicht: (2025)

CLONE: Customizing LLMs for Efficient Latency-Aware Inference at the Edge
von: Tian, Chunlin, et al.
Veröffentlicht: (2025)

Titanus: Enabling KV Cache Pruning and Quantization On-the-Fly for LLM Acceleration
von: Chen, Peilin, et al.
Veröffentlicht: (2025)

L3: DIMM-PIM Integrated Architecture and Coordination for Scalable Long-Context LLM Inference
von: Liu, Qingyuan, et al.
Veröffentlicht: (2025)

A Full-System Simulation Framework for CXL-Based SSD Memory System
von: Wang, Yaohui, et al.
Veröffentlicht: (2025)

Towards Performance-Aware Allocation for Accelerated Machine Learning on GPU-SSD Systems
von: Gundawar, Ayush, et al.
Veröffentlicht: (2024)

TCAM-SSD: A Framework for Search-Based Computing in Solid-State Drives
von: Wong, Ryan, et al.
Veröffentlicht: (2024)

NVLLM: A 3D NAND-Centric Architecture Enabling Edge on-Device LLM Inference
von: Hao, Mingbo, et al.
Veröffentlicht: (2026)

Search-in-Memory (SiM): Reliable, Versatile, and Efficient Data Matching in SSD's NAND Flash Memory Chip for Data Indexing Acceleration
von: Chen, Yun-Chih, et al.
Veröffentlicht: (2024)

FusionCIM: Accelerating LLM Inference with Fusion-Driven Computing-in-Memory Architecture
von: Xuan, Zihao, et al.
Veröffentlicht: (2026)

FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill
von: Jayanth, Rakshith, et al.
Veröffentlicht: (2026)

A Cost-Effective Near-Storage Processing Solution for Offline Inference of Long-Context LLMs
von: Jang, Hongsun, et al.
Veröffentlicht: (2025)

Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System
von: Fang, Yunhua, et al.
Veröffentlicht: (2025)

LoopLynx: A Scalable Dataflow Architecture for Efficient LLM Inference
von: Zheng, Jianing, et al.
Veröffentlicht: (2025)

PIMphony: Overcoming Bandwidth and Capacity Inefficiency in PIM-based Long-Context LLM Inference System
von: Kwon, Hyucksung, et al.
Veröffentlicht: (2024)