Buchumschlag

Meta-Metrics and Best Practices for System-Level Inference Performance Benchmarking

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Salaria, Shweta, Liu, Zhuoran, Gonzalez, Nelson Mimura
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Performance
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Statistical Modeling and Uncertainty Estimation of LLM Inference Systems
von: Ray, Kaustabha, et al.
Veröffentlicht: (2025)

Interpreting Performance Profiles with Deep Learning
von: Liu, Zhuoran
Veröffentlicht: (2025)

Dissecting Embedding Bag Performance in DLRM Inference
von: Ambati, Chandrish, et al.
Veröffentlicht: (2025)

Characterize LSM-tree Compaction Performance via On-Device LLM Inference
von: Ding, Jiabiao, et al.
Veröffentlicht: (2026)

A Continuous Benchmarking Infrastructure for High-Performance Computing Applications
von: Alt, Christoph, et al.
Veröffentlicht: (2024)

KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models
von: Gul, Haji, et al.
Veröffentlicht: (2025)

Explainable Port Mapping Inference with Sparse Performance Counters for AMD's Zen Architectures
von: Ritter, Fabian, et al.
Veröffentlicht: (2024)

Towards CPU Performance Prediction: New Challenge Benchmark Dataset and Novel Approach
von: Liu, Xiaoman
Veröffentlicht: (2024)

AI Application Benchmarking: Power-Aware Performance Analysis for Vision and Language Models
von: Mayr, Martin, et al.
Veröffentlicht: (2026)

Unikernels vs. Containers: A Runtime-Level Performance Comparison for Resource-Constrained Edge Workloads
von: Dinh-Tuan, Hai
Veröffentlicht: (2025)

LLM Swiss Round: Aggregating Multi-Benchmark Performance via Competitive Swiss-System Dynamics
von: Liu, Jiashuo, et al.
Veröffentlicht: (2025)

Dissecting RISC-V Performance: Practical PMU Profiling and Hardware-Agnostic Roofline Analysis on Emerging Platforms
von: Batashev, Alexander
Veröffentlicht: (2025)

Forecasting GPU Performance for Deep Learning Training and Inference
von: Lee, Seonho, et al.
Veröffentlicht: (2024)

Pinching-Antenna Systems For Indoor Immersive Communications: A 3D-Modeling Based Performance Analysis
von: Wang, Yulei, et al.
Veröffentlicht: (2025)

XRFlux: Virtual Reality Benchmark for Edge Caching Systems
von: Alfares, Nader, et al.
Veröffentlicht: (2024)

Two Criteria for Performance Analysis of Optimization Algorithms
von: Jing, Yunpeng, et al.
Veröffentlicht: (2024)

Towards Computational Performance Engineering for Unsupervised Concept Drift Detection -- Complexities, Benchmarking, Performance Analysis
von: Werner, Elias, et al.
Veröffentlicht: (2023)

Gem5-AcceSys: Enabling System-Level Exploration of Standard Interconnects for Novel Accelerators
von: Liu, Qunyou, et al.
Veröffentlicht: (2025)

Performance of Confidential Computing GPUs
von: Ibarra, Antonio Martínez, et al.
Veröffentlicht: (2025)

Hierarchical Analyses Applied to Computer System Performance: Review and Call for Further Studies
von: Thomasian, Alexander
Veröffentlicht: (2024)

COMPASS: A Unified Decision-Intelligence System for Navigating Performance Trade-off in HPC
von: Lahiry, Ankur, et al.
Veröffentlicht: (2026)

An Empirical Study on Method-Level Performance Evolution in Open-Source Java Projects
von: Shahedi, Kaveh, et al.
Veröffentlicht: (2025)

Inference performance evaluation for LLMs on edge devices with a novel benchmarking framework and metric
von: Chen, Hao, et al.
Veröffentlicht: (2025)

Understanding Power Consumption Metric on Heterogeneous Memory Systems
von: Proaño, Andrès Rubio, et al.
Veröffentlicht: (2024)

MambaCPU: Enhanced Correlation Mining with State Space Models for CPU Performance Prediction
von: Liu, Xiaoman
Veröffentlicht: (2024)

MoE-Inference-Bench: Performance Evaluation of Mixture of Expert Large Language and Vision Models
von: Chitty-Venkata, Krishna Teja, et al.
Veröffentlicht: (2025)

Columbo: Low Level End-to-End System Traces through Modular Full-System Simulation
von: Görgen, Jakob, et al.
Veröffentlicht: (2024)

Updates on the Low-Level Abstraction of Memory Access
von: Gruber, Bernhard Manfred
Veröffentlicht: (2023)

PerfSeer: An Efficient and Accurate Deep Learning Models Performance Predictor
von: Zhao, Xinlong, et al.
Veröffentlicht: (2025)

Accurate Performance Modeling And Uncertainty Analysis of Lossy Compression in Scientific Applications
von: Liu, Youyuan, et al.
Veröffentlicht: (2024)

Performance Characterization of Expert Router for Scalable LLM Inference
von: Pichlmeier, Josef, et al.
Veröffentlicht: (2024)

Adaptive Orchestration for Large-Scale Inference on Heterogeneous Accelerator Systems Balancing Cost, Performance, and Resilience
von: Biran, Yahav, et al.
Veröffentlicht: (2025)

RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems
von: Li, Shaobo, et al.
Veröffentlicht: (2026)

Machine Learning-Guided Memory Optimization for DLRM Inference on Tiered Memory
von: Ren, Jie, et al.
Veröffentlicht: (2025)

Profiling Large Language Model Inference on Apple Silicon: A Quantization Perspective
von: Benazir, Afsara, et al.
Veröffentlicht: (2025)

A System-Level Dynamic Binary Translator using Automatically-Learned Translation Rules
von: Jiang, Jinhu, et al.
Veröffentlicht: (2024)

SparseInfer: Training-free Prediction of Activation Sparsity for Fast LLM Inference
von: Shin, Jiho, et al.
Veröffentlicht: (2024)

ADS Performance Revisited
von: Weber, Alexander, et al.
Veröffentlicht: (2024)

Wasure: A Modular Toolkit for Comprehensive WebAssembly Benchmarking
von: Carissimi, Riccardo, et al.
Veröffentlicht: (2026)

CAPSim: A Fast CPU Performance Simulator Using Attention-based Predictor
von: Xu, Buqing, et al.
Veröffentlicht: (2025)