Buchumschlag

CEBench: A Benchmarking Toolkit for the Cost-Effectiveness of LLM Pipelines

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Wenbo, Wang, Jiaqi, Guo, Qiming, Li, Ziyu, Wang, Wenlu, Hai, Rihan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Performance Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TranSQL+: Serving Large Language Models with SQL on Low-Resource Hardware
von: Sun, Wenbo, et al.
Veröffentlicht: (2025)

Accelerating Machine Learning Queries with Linear Algebra Query Processing
von: Sun, Wenbo, et al.
Veröffentlicht: (2023)

Spatio-Temporal Graph Unlearning
von: Guo, Qiming, et al.
Veröffentlicht: (2025)

KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels
von: Wang, Han, et al.
Veröffentlicht: (2026)

PARD: Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation
von: An, Zihao, et al.
Veröffentlicht: (2025)

Private LLM Inference on Consumer Blackwell GPUs: A Practical Guide for Cost-Effective Local Deployment in SMEs
von: Knoop, Jonathan, et al.
Veröffentlicht: (2026)

U-TOE: Universal TinyML On-board Evaluation Toolkit for Low-Power IoT
von: Huang, Zhaolan, et al.
Veröffentlicht: (2023)

IPA: Inference Pipeline Adaptation to Achieve High Accuracy and Cost-Efficiency
von: Ghafouri, Saeid, et al.
Veröffentlicht: (2023)

GCL-Sampler: Discovering Kernel Similarity for Sampled GPU Simulation via Graph Contrastive Learning
von: Wang, Jiaqi, et al.
Veröffentlicht: (2026)

Plug-and-Play Performance Estimation for LLM Services without Relying on Labeled Data
von: Wang, Can, et al.
Veröffentlicht: (2024)

LLM Swiss Round: Aggregating Multi-Benchmark Performance via Competitive Swiss-System Dynamics
von: Liu, Jiashuo, et al.
Veröffentlicht: (2025)

Benchmarking GPUs on SVBRDF Extractor Model
von: Kandel, Narayan, et al.
Veröffentlicht: (2023)

Ilargi: a GPU Compatible Factorized ML Model Training Framework
von: Sun, Wenbo, et al.
Veröffentlicht: (2025)

PoTAcc: A Pipeline for End-to-End Acceleration of Power-of-Two Quantized DNNs
von: Saha, Rappy, et al.
Veröffentlicht: (2026)

ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression
von: Liu, Guangda, et al.
Veröffentlicht: (2024)

Single-Thread JPEG Decoder Benchmarks Mis-Evaluate ML Data Loaders
von: Iglovikov, Vladimir, et al.
Veröffentlicht: (2026)

An Interpretable Latency Model for Speculative Decoding in LLM Serving
von: Kong, Linghao, et al.
Veröffentlicht: (2026)

An Inquiry into Datacenter TCO for LLM Inference with FP8
von: Kim, Jiwoo, et al.
Veröffentlicht: (2025)

Greener Deep Reinforcement Learning: Analysis of Energy and Carbon Efficiency Across Atari Benchmarks
von: Gardner, Jason, et al.
Veröffentlicht: (2025)

Towards Computational Performance Engineering for Unsupervised Concept Drift Detection -- Complexities, Benchmarking, Performance Analysis
von: Werner, Elias, et al.
Veröffentlicht: (2023)

LLM-PQA: LLM-enhanced Prediction Query Answering
von: Li, Ziyu, et al.
Veröffentlicht: (2024)

DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

Confidential LLM Inference: Performance and Cost Across CPU and GPU TEEs
von: Chrapek, Marcin, et al.
Veröffentlicht: (2025)

MarginGate: Sparse Margin-Triggered Verification for Batch-Invariant LLM Inference
von: Chu, Kexin, et al.
Veröffentlicht: (2026)

Reducing Latency of LLM Search Agent via Speculation-based Algorithm-System Co-Design
von: Huang, Zixiao, et al.
Veröffentlicht: (2025)

GreenServ: Energy-Efficient Context-Aware Dynamic Routing for Multi-Model LLM Inference
von: Ziller, Thomas, et al.
Veröffentlicht: (2026)

V-Seek: Accelerating LLM Reasoning on Open-hardware Server-class RISC-V Platforms
von: Rodrigo, Javier J. Poveda, et al.
Veröffentlicht: (2025)

FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
von: Shao, Zishan, et al.
Veröffentlicht: (2025)

TaxBreak: Unmasking the Hidden Costs of LLM Inference Through Overhead Decomposition
von: Vellaisamy, Prabhu, et al.
Veröffentlicht: (2026)

Prism: Unleashing GPU Sharing for Cost-Efficient Multi-LLM Serving
von: Yu, Shan, et al.
Veröffentlicht: (2025)

ZO2: Scalable Zeroth-Order Fine-Tuning for Extremely Large Language Models with Limited GPU Memory
von: Wang, Liangyu, et al.
Veröffentlicht: (2025)

Development and Comparative Evaluation of Three Artificial Intelligence Models (NLP, LLM, JEPA) for Predicting Triage in Emergency Departments: A 7-Month Retrospective Proof-of-Concept
von: Lansiaux, Edouard, et al.
Veröffentlicht: (2025)

Cloud Computing Energy Consumption Prediction Based on Kernel Extreme Learning Machine Algorithm Improved by Vector Weighted Average Algorithm
von: Wang, Yuqing, et al.
Veröffentlicht: (2025)

Anatomizing Deep Learning Inference in Web Browsers
von: Wang, Qipeng, et al.
Veröffentlicht: (2024)

Bench360: Benchmarking Local LLM Inference from 360 Degrees
von: Stuhlmann, Linus, et al.
Veröffentlicht: (2025)

Efficient Reinforcement Learning for Routing Jobs in Heterogeneous Queueing Systems
von: Jali, Neharika, et al.
Veröffentlicht: (2024)

DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs
von: Liu, Jiahui, et al.
Veröffentlicht: (2024)

Application Research On Real-Time Perception Of Device Performance Status
von: Wang, Zhe, et al.
Veröffentlicht: (2024)

ModeSwitch-LLM: A Lightweight Phase-Aware Controller for Cross-Mode LLM Inference on a Single GPU
von: Sunesh, Aman, et al.
Veröffentlicht: (2026)

EDGC: Entropy-driven Dynamic Gradient Compression for Efficient LLM Training
von: Yi, Qingao, et al.
Veröffentlicht: (2025)