Buchumschlag

IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhong, Wanli, Feng, Haibo, Zhou, Zirui, Peng, Hanyang, Yu, Shiqi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Modality-Aware Zero-Shot Pruning and Sparse Attention for Efficient Multimodal Edge Inference
von: Sui, Yueyuan, et al.
Veröffentlicht: (2026)

I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
von: Hu, Xing, et al.
Veröffentlicht: (2024)

Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
von: Qiu, Quantong, et al.
Veröffentlicht: (2026)

Unsupervised Multi-Attention Meta Transformer for Rotating Machinery Fault Diagnosis
von: Wang, Hanyang, et al.
Veröffentlicht: (2025)

AttentionEngine: A Versatile Framework for Efficient Attention Mechanisms on Diverse Hardware Platforms
von: Chen, Feiyang, et al.
Veröffentlicht: (2025)

SparQ Attention: Bandwidth-Efficient LLM Inference
von: Ribar, Luka, et al.
Veröffentlicht: (2023)

ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference
von: Zhang, Qiuyang, et al.
Veröffentlicht: (2026)

CHAI: Clustered Head Attention for Efficient LLM Inference
von: Agarwal, Saurabh, et al.
Veröffentlicht: (2024)

Efficient Low Rank Attention for Long-Context Inference in Large Language Models
von: Li, Tenghui, et al.
Veröffentlicht: (2025)

Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction
von: Willette, Jeffrey, et al.
Veröffentlicht: (2025)

Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference
von: Ferrari, Alan
Veröffentlicht: (2026)

Spatial Conformal Inference through Localized Quantile Regression
von: Jiang, Hanyang, et al.
Veröffentlicht: (2024)

ENA: Efficient N-dimensional Attention
von: Zhong, Yibo
Veröffentlicht: (2025)

Kernelized Edge Attention: Addressing Semantic Attention Blurring in Temporal Graph Neural Networks
von: Waghmare, Govind, et al.
Veröffentlicht: (2026)

Taming the Exponential: A Fast Softmax Surrogate for Integer-Native Edge Inference
von: Danopoulos, Dimitrios, et al.
Veröffentlicht: (2026)

FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
von: Dege, Pengcuo, et al.
Veröffentlicht: (2025)

FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
von: Lai, Xunhao, et al.
Veröffentlicht: (2025)

Hermes: Memory-Efficient Pipeline Inference for Large Models on Edge Devices
von: Han, Xueyuan, et al.
Veröffentlicht: (2024)

CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference
von: Song, Chuxu, et al.
Veröffentlicht: (2026)

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
von: Song, Dinghong, et al.
Veröffentlicht: (2025)

SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration
von: Zhang, Jintao, et al.
Veröffentlicht: (2024)

Attention Once Is All You Need: Efficient Streaming Inference with Stateful Transformers
von: Norgren, Victor
Veröffentlicht: (2026)

NoMAD-Attention: Efficient LLM Inference on CPUs Through Multiply-add-free Attention
von: Zhang, Tianyi, et al.
Veröffentlicht: (2024)

HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference
von: Deng, Weishu, et al.
Veröffentlicht: (2025)

INT-FlashAttention: Enabling Flash Attention for INT8 Quantization
von: Chen, Shimao, et al.
Veröffentlicht: (2024)

DistrAttention: An Efficient and Flexible Self-Attention Mechanism on Modern GPUs
von: Jin, Haolin, et al.
Veröffentlicht: (2025)

Spatial-Temporal Attention Model for Traffic State Estimation with Sparse Internet of Vehicles
von: Xue, Jianzhe, et al.
Veröffentlicht: (2024)

Progressive Sparse Attention: Algorithm and System Co-design for Efficient Attention in LLM Serving
von: Zhou, Qihui, et al.
Veröffentlicht: (2025)

Time-Aware Attention for Enhanced Electronic Health Records Modeling
von: Yu, Junhan, et al.
Veröffentlicht: (2025)

HATA: Trainable and Hardware-Efficient Hash-Aware Top-k Attention for Scalable Large Model Inference
von: Gong, Ping, et al.
Veröffentlicht: (2025)

ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference
von: Pathak, Surendra, et al.
Veröffentlicht: (2026)

Star Attention: Efficient LLM Inference over Long Sequences
von: Acharya, Shantanu, et al.
Veröffentlicht: (2024)

Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks
von: Deng, Xiumei, et al.
Veröffentlicht: (2025)

Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers
von: Liang, Yingyu, et al.
Veröffentlicht: (2024)

Sparse Attention as a Range Searching Problem: Towards an Inference-Efficient Index for KV Cache
von: Dehghankar, Mohsen, et al.
Veröffentlicht: (2026)

TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2025)

IAM: Efficient Inference through Attention Mapping between Different-scale LLMs
von: Zhao, Yi, et al.
Veröffentlicht: (2025)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
von: Jo, Dongwon, et al.
Veröffentlicht: (2026)

Diagonal-Tiled Mixed-Precision Attention for Efficient Low-Bit MXFP Inference
von: Ding, Yifu, et al.
Veröffentlicht: (2026)

First Attentions Last: Better Exploiting First Attentions for Efficient Transformer Training
von: Kim, Gyudong, et al.
Veröffentlicht: (2025)