Buchumschlag

LLM Inference Unveiled: Survey and Roofline Model Insights

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yuan, Zhihang, Shang, Yuzhang, Zhou, Yang, Dong, Zhen, Zhou, Zhe, Xue, Chenhao, Wu, Bingzhe, Li, Zhikai, Gu, Qingyi, Lee, Yong Jae, Yan, Yan, Chen, Beidi, Sun, Guangyu, Keutzer, Kurt
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources
von: Li, Zhikai, et al.
Veröffentlicht: (2023)

K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences
von: Li, Zhikai, et al.
Veröffentlicht: (2024)

Interpolating Video-LLMs: Toward Longer-sequence LMMs in a Training-free Manner
von: Shang, Yuzhang, et al.
Veröffentlicht: (2024)

ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models
von: Yuan, Zhihang, et al.
Veröffentlicht: (2023)

K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge
von: Li, Zhikai, et al.
Veröffentlicht: (2026)

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization
von: Li, Zhikai, et al.
Veröffentlicht: (2026)

QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning
von: Wang, Haoxuan, et al.
Veröffentlicht: (2024)

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models
von: Shang, Yuzhang, et al.
Veröffentlicht: (2024)

Privacy-Preserving SAM Quantization for Efficient Edge Intelligence in Healthcare
von: Li, Zhikai, et al.
Veröffentlicht: (2024)

CacheQuant: Comprehensively Accelerated Diffusion Models
von: Liu, Xuewen, et al.
Veröffentlicht: (2025)

PTQ4ViT: Post-training quantization for vision transformers with twin uniform quantization
von: Yuan, Zhihang, et al.
Veröffentlicht: (2021)

FBPT: A Fully Binary Point Transformer
von: Hou, Zhixing, et al.
Veröffentlicht: (2024)

RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis
von: Bi, Zhen, et al.
Veröffentlicht: (2026)

GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
von: Zhou, Sifan, et al.
Veröffentlicht: (2025)

Towards Vision-Language Geo-Foundation Model: A Survey
von: Zhou, Yue, et al.
Veröffentlicht: (2024)

ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms
von: Xu, Bingxin, et al.
Veröffentlicht: (2025)

Efficient-SAM2: Accelerating SAM2 with Object-Aware Visual Encoding and Memory Retrieval
von: Zhang, Jing, et al.
Veröffentlicht: (2026)

RepQuant: Towards Accurate Post-Training Quantization of Large Transformer Models via Scale Reparameterization
von: Li, Zhikai, et al.
Veröffentlicht: (2024)

Dataset Quantization with Active Learning based Adaptive Sampling
von: Zhao, Zhenghao, et al.
Veröffentlicht: (2024)

Online Multi-spectral Neuron Tracing
von: Duan, Bin, et al.
Veröffentlicht: (2024)

HexGen: Generative Inference of Large Language Model over Heterogeneous Environment
von: Jiang, Youhe, et al.
Veröffentlicht: (2023)

MITRA: A Large-Scale Parallel Corpus and Multilingual Pretrained Language Model for Machine Translation and Semantic Retrieval for Pāli, Sanskrit, Buddhist Chinese, and Tibetan
von: Nehrdich, Sebastian, et al.
Veröffentlicht: (2026)

LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
von: Xie, Yanyue, et al.
Veröffentlicht: (2024)

DQRM: Deep Quantized Recommendation Models
von: Zhou, Yang, et al.
Veröffentlicht: (2024)

E-CAR: Efficient Continuous Autoregressive Image Generation via Multistage Modeling
von: Yuan, Zhihang, et al.
Veröffentlicht: (2024)

VGDFR: Diffusion-based Video Generation with Dynamic Latent Frame Rate
von: Yuan, Zhihang, et al.
Veröffentlicht: (2025)

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs
von: Sun, Luoyang, et al.
Veröffentlicht: (2026)

FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
von: Hooper, Coleman, et al.
Veröffentlicht: (2025)

PTQ4ARVG: Post-Training Quantization for AutoRegressive Visual Generation Models
von: Liu, Xuewen, et al.
Veröffentlicht: (2026)

MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction
von: Yang, Lianwei, et al.
Veröffentlicht: (2024)

Rectified SpaAttn: Revisiting Attention Sparsity for Efficient Video Generation
von: Liu, Xuewen, et al.
Veröffentlicht: (2025)

SAQ-SAM: Semantically-Aligned Quantization for Segment Anything Model
von: Zhang, Jing, et al.
Veröffentlicht: (2025)

TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation
von: Xiao, Junrui, et al.
Veröffentlicht: (2024)

Distilling Long-tailed Datasets
von: Zhao, Zhenghao, et al.
Veröffentlicht: (2024)

Robin3D: Improving 3D Large Language Model via Robust Instruction Tuning
von: Kang, Weitai, et al.
Veröffentlicht: (2024)

PTQ4DiT: Post-training Quantization for Diffusion Transformers
von: Wu, Junyi, et al.
Veröffentlicht: (2024)

freePruner: A Training-free Approach for Large Multimodal Model Acceleration
von: Xu, Bingxin, et al.
Veröffentlicht: (2024)

Supplementing Missing Visions via Dialog for Scene Graph Generations
von: Zhao, Zhenghao, et al.
Veröffentlicht: (2022)

Learned Best-Effort LLM Serving
von: Jha, Siddharth, et al.
Veröffentlicht: (2024)

The TEA-ASLP System for Multilingual Conversational Speech Recognition and Speech Diarization in MLC-SLM 2025 Challenge
von: Xue, Hongfei, et al.
Veröffentlicht: (2025)