Buchumschlag

InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Pan, Xiurui, Li, Endian, Li, Qiao, Liang, Shengwen, Shan, Yizhou, Zhou, Ke, Luo, Yingwei, Wang, Xiaolin, Zhang, Jie
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Hardware Architecture Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Cost-Effective Near-Storage Processing Solution for Offline Inference of Long-Context LLMs
von: Jang, Hongsun, et al.
Veröffentlicht: (2025)

HillInfer: Efficient Long-Context LLM Inference on the Edge with Hierarchical KV Eviction using SmartSSD
von: Sun, He, et al.
Veröffentlicht: (2026)

GPU Acceleration of TFHE-Based High-Precision Nonlinear Layers for Encrypted LLM Inference
von: Chen, Guoci, et al.
Veröffentlicht: (2026)

LLMulator: Generalizable Cost Modeling for Dataflow Accelerators with Input-Adaptive Control Flow
von: Chang, Kaiyan, et al.
Veröffentlicht: (2025)

FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill
von: Jayanth, Rakshith, et al.
Veröffentlicht: (2026)

Combating the Memory Walls: Optimization Pathways for Long-Context Agentic LLM Inference
von: Wu, Haoran, et al.
Veröffentlicht: (2025)

A Novel Extensible Simulation Framework for CXL-Enabled Systems
von: An, Yuda, et al.
Veröffentlicht: (2024)

An RDMA-First Object Storage System with SmartNIC Offload
von: Zhu, Yu, et al.
Veröffentlicht: (2025)

UniCAIM: A Unified CAM/CIM Architecture with Static-Dynamic KV Cache Pruning for Efficient Long-Context LLM Inference
von: Xu, Weikai, et al.
Veröffentlicht: (2025)

Cambricon-LLM: A Chiplet-Based Hybrid Architecture for On-Device Inference of 70B LLM
von: Yu, Zhongkai, et al.
Veröffentlicht: (2024)

SSD Offloading for LLM Mixture-of-Experts Weights Considered Harmful in Energy Efficiency
von: Kyung, Kwanhee, et al.
Veröffentlicht: (2025)

Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache
von: Lin, Bin, et al.
Veröffentlicht: (2024)

Graphitron: A Domain Specific Language for FPGA-based Graph Processing Accelerator Generation
von: Zhang, Xinmiao, et al.
Veröffentlicht: (2024)

Knowledge-Guided Attention-Inspired Learning for Task Offloading in Vehicle Edge Computing
von: Ma, Ke, et al.
Veröffentlicht: (2025)

Lifecycle Cost-Effectiveness Modeling for Redundancy-Enhanced Multi-Chiplet Architectures
von: Liu, Zizhen, et al.
Veröffentlicht: (2026)

PIMphony: Overcoming Bandwidth and Capacity Inefficiency in PIM-based Long-Context LLM Inference System
von: Kwon, Hyucksung, et al.
Veröffentlicht: (2024)

L3: DIMM-PIM Integrated Architecture and Coordination for Scalable Long-Context LLM Inference
von: Liu, Qingyuan, et al.
Veröffentlicht: (2025)

Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
von: Meng, William, et al.
Veröffentlicht: (2025)

PD-Swap: Prefill-Decode Logic Swapping for End-to-End LLM Inference on Edge FPGAs via Dynamic Partial Reconfiguration
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

A Systematic Characterization of LLM Inference on GPUs
von: Wang, Haonan, et al.
Veröffentlicht: (2025)

NVLLM: A 3D NAND-Centric Architecture Enabling Edge on-Device LLM Inference
von: Hao, Mingbo, et al.
Veröffentlicht: (2026)

TerEffic: Highly Efficient Ternary LLM Inference on FPGA
von: Yin, Chenyang, et al.
Veröffentlicht: (2025)

Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory
von: Hong, Jeongmin, et al.
Veröffentlicht: (2024)

Convolutions Predictable Offloading to an Accelerator: Formalization and Optimization
von: Husson, Benjamin, et al.
Veröffentlicht: (2026)

Mapping Space Exploration for Multi-Chiplet Accelerators Targeting LLM Inference Serving Workloads
von: Li, Boyu, et al.
Veröffentlicht: (2025)

Resilient and Secure Programmable System-on-Chip Accelerator Offload
von: Gouveia, Inês Pinto, et al.
Veröffentlicht: (2024)

Harmonia: Algorithm-Hardware Co-Design for Memory- and Compute-Efficient BFP-based LLM Inference
von: Wang, Xinyu, et al.
Veröffentlicht: (2026)

FusionCIM: Accelerating LLM Inference with Fusion-Driven Computing-in-Memory Architecture
von: Xuan, Zihao, et al.
Veröffentlicht: (2026)

A Switch-Centric In-Network Architecture for Accelerating LLM Inference in Shared-Memory Network
von: Jiang, Aojie, et al.
Veröffentlicht: (2026)

AccLLM: Accelerating Long-Context LLM Inference Via Algorithm-Hardware Co-Design
von: Liang, Yanbiao, et al.
Veröffentlicht: (2025)

FlatAttention: Dataflow and Fabric Collectives Co-Optimization for Large Attention-Based Model Inference on Tile-Based Accelerators
von: Zhang, Chi, et al.
Veröffentlicht: (2026)

Breaking the HBM Bit Cost Barrier: Domain-Specific ECC for AI Inference Infrastructure
von: Xie, Rui, et al.
Veröffentlicht: (2025)

Developing Cost-Effective Drones for 5G Non-Terrestrial Network Research and Experimentation
von: Cáceres, Carlos de Quinto, et al.
Veröffentlicht: (2024)

BitROM: Weight Reload-Free CiROM Architecture Towards Billion-Parameter 1.58-bit LLM Inference
von: Zhang, Wenlun, et al.
Veröffentlicht: (2025)

OffRAC: Offloading Through Remote Accelerator Calls
von: Yang, Ziyi, et al.
Veröffentlicht: (2025)

T-MAN: Enabling End-to-End Low-Bit LLM Inference on NPUs via Unified Table Lookup
von: Wei, Jianyu, et al.
Veröffentlicht: (2025)

Making Strong Error-Correcting Codes Work Effectively for HBM in AI Inference
von: Xie, Rui, et al.
Veröffentlicht: (2025)

Trimma: Trimming Metadata Storage and Latency for Hybrid Memory Systems
von: Li, Yiwei, et al.
Veröffentlicht: (2024)

Rethinking LLM Inference Bottlenecks: Insights from Latent Attention and Mixture-of-Experts
von: Yun, Sungmin, et al.
Veröffentlicht: (2025)

VitaLLM: A Versatile and Tiny Accelerator for Mixed-Precision LLM Inference on Edge Devices
von: Lin, Zi-Wei, et al.
Veröffentlicht: (2026)