Copertina

Open-TQ-Metal: Fused Compressed-Domain Attention for Long-Context LLM Inference on Apple Silicon

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Vegasena, Sai
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Efficient Mixture-of-Experts LLM Inference with Apple Silicon NPUs
di: Benazir, Afsara, et al.
Pubblicazione: (2026)

Native LLM and MLLM Inference at Scale on Apple Silicon
di: Barrios, Wayner
Pubblicazione: (2026)

HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference
di: Deng, Weishu, et al.
Pubblicazione: (2025)

KV Pareto: Systems-Level Optimization of KV Cache and Model Compression for Long Context Inference
di: Gokhale, Sai, et al.
Pubblicazione: (2025)

LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
di: Gu, Zhuohan, et al.
Pubblicazione: (2024)

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
di: Zhou, Ruijie, et al.
Pubblicazione: (2026)

RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
di: Liu, Di, et al.
Pubblicazione: (2024)

Characterizing Prompt Compression Methods for Long Context Inference
di: Jha, Siddharth, et al.
Pubblicazione: (2024)

Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon
di: Gallego, Víctor
Pubblicazione: (2026)

SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
di: Zhu, Qianchao, et al.
Pubblicazione: (2024)

DynSplit-KV: Dynamic Semantic Splitting for KVCache Compression in Efficient Long-Context LLM Inference
di: Ye, Jiancai, et al.
Pubblicazione: (2026)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
di: Behnam, Payman, et al.
Pubblicazione: (2025)

Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference
di: Deshmukh, Dhruv, et al.
Pubblicazione: (2025)

FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels
di: Zuo, Fei, et al.
Pubblicazione: (2026)

Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern
di: Tang, Hongyin, et al.
Pubblicazione: (2024)

S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference
di: Ma, Qingsen, et al.
Pubblicazione: (2026)

Paged Attention Meets FlexAttention: Unlocking Long-Context Efficiency in Deployed Inference
di: Joshi, Thomas, et al.
Pubblicazione: (2025)

APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
di: Huang, Yuxiang, et al.
Pubblicazione: (2025)

Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
di: Song, Woomin, et al.
Pubblicazione: (2025)

Accelerating Sparse Ternary GEMM for Quantized ML on Apple Silicon
di: Lipshitz, Baraq, et al.
Pubblicazione: (2025)

Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference
di: Yubeaton, Patrick, et al.
Pubblicazione: (2025)

mlx-vis: GPU-Accelerated Dimensionality Reduction and Visualization on Apple Silicon
di: Xiao, Han
Pubblicazione: (2026)

Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving
di: Zhao, Zihan, et al.
Pubblicazione: (2026)

Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
di: Liskavets, Barys, et al.
Pubblicazione: (2024)

Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
di: Kumaresan, Ramchand
Pubblicazione: (2026)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
di: Jo, Dongwon, et al.
Pubblicazione: (2026)

Efficient Low Rank Attention for Long-Context Inference in Large Language Models
di: Li, Tenghui, et al.
Pubblicazione: (2025)

CoCA: Fusing Position Embedding with Collinear Constrained Attention in Transformers for Long Context Window Extending
di: Zhu, Shiyi, et al.
Pubblicazione: (2023)

Benchmarking On-Device Machine Learning on Apple Silicon with MLX
di: Ajayi, Oluwaseun A., et al.
Pubblicazione: (2025)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
di: Tang, Jiaming, et al.
Pubblicazione: (2024)

RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference
di: Chen, Yaoqi, et al.
Pubblicazione: (2025)

ContextPilot: Fast Long-Context Inference via Context Reuse
di: Jiang, Yinsicheng, et al.
Pubblicazione: (2025)

An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
di: Yao, Feiyu, et al.
Pubblicazione: (2026)

Star Attention: Efficient LLM Inference over Long Sequences
di: Acharya, Shantanu, et al.
Pubblicazione: (2024)

Learning to Extract Context for Context-Aware LLM Inference
di: Kim, Minseon, et al.
Pubblicazione: (2025)

SPHERICAL KV: Angle-Domain Attention and Rate-Distortion Retention for Efficient Long-Context Inference
di: Chauhan, Anay, et al.
Pubblicazione: (2026)

Long Context In-Context Compression by Getting to the Gist of Gisting
di: Petrov, Aleksandar, et al.
Pubblicazione: (2025)

LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
di: Fu, Qichen, et al.
Pubblicazione: (2024)

XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference
di: Li, Weizhuo, et al.
Pubblicazione: (2024)

FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
di: Lai, Xunhao, et al.
Pubblicazione: (2025)