Buchumschlag

3D Optimization for AI Inference Scaling: Balancing Accuracy, Cost, and Latency

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jung, Minseok, Ricky, Abhas, Chatni, Muhammad Rameez
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RAS: Reflection-Augmented Scaling with In-Context Learning for Executable Cypher Query Generation
von: Jung, Minseok, et al.
Veröffentlicht: (2026)

ALADIN: Accuracy-Latency-Aware Design-space Inference Analysis for Embedded AI Accelerators
von: Baldi, T., et al.
Veröffentlicht: (2026)

Hardware Aware Ensemble Selection for Balancing Predictive Accuracy and Cost
von: Maier, Jannis, et al.
Veröffentlicht: (2024)

Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency
von: Husom, Erik Johannes, et al.
Veröffentlicht: (2025)

MolPaQ: Modular Quantum-Classical Patch Learning for Interpretable Molecular Generation
von: Naqvi, Syed Rameez, et al.
Veröffentlicht: (2026)

OCCAM: Towards Cost-Efficient and Accuracy-Aware Classification Inference
von: Ding, Dujian, et al.
Veröffentlicht: (2024)

Win Fast or Lose Slow: Balancing Speed and Accuracy in Latency-Sensitive Decisions of LLMs
von: Kang, Hao, et al.
Veröffentlicht: (2025)

Inference Optimization of Foundation Models on AI Accelerators
von: Park, Youngsuk, et al.
Veröffentlicht: (2024)

Trading-off Accuracy and Communication Cost in Federated Learning
von: Villani, Mattia Jacopo, et al.
Veröffentlicht: (2025)

Hybrid JIT-CUDA Graph Optimization for Low-Latency Large Language Model Inference
von: Yadav, Divakar Kumar, et al.
Veröffentlicht: (2026)

CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs
von: Kumar, Abhas, et al.
Veröffentlicht: (2024)

Sensor Calibration Model Balancing Accuracy, Real-time, and Efficiency
von: Yun, Jinyong, et al.
Veröffentlicht: (2025)

Scalable AI Inference: Performance Analysis and Optimization of AI Model Serving
von: Pham, Hung Cuong, et al.
Veröffentlicht: (2026)

Multi-Resolution End-to-End Deep Neural Network for Optimizing Latency-Accuracy Tradeoff in Autonomous Driving
von: Weng, Qitao, et al.
Veröffentlicht: (2026)

Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing
von: Sung, Mingyu, et al.
Veröffentlicht: (2025)

SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection
von: Hu, Mengya, et al.
Veröffentlicht: (2024)

Balancing Coverage and Draft Latency in Vocabulary Trimming for Faster Speculative Decoding
von: Shoham, Ofir Ben
Veröffentlicht: (2026)

Outcome-Aware Tool Selection for Semantic Routers: Latency-Constrained Learning Without LLM Inference
von: Chen, Huamin, et al.
Veröffentlicht: (2026)

Research on Low-Latency Inference and Training Efficiency Optimization for Graph Neural Network and Large Language Model-Based Recommendation Systems
von: Zhao, Yushang, et al.
Veröffentlicht: (2025)

Carbon Intensity-Aware Adaptive Inference of DNNs
von: Jung, Jiwan
Veröffentlicht: (2024)

Agent JIT Compilation for Latency-Optimizing Web Agent Planning and Scheduling
von: Winston, Caleb, et al.
Veröffentlicht: (2026)

Inference Energy and Latency in AI-Mediated Education: A Learning-per-Watt Analysis of Edge and Cloud Models
von: Khemani, Kushal
Veröffentlicht: (2026)

Difficulty-aware Balancing Margin Loss for Long-tailed Recognition
von: Son, Minseok, et al.
Veröffentlicht: (2024)

Flow Matching on General Geometries
von: Chen, Ricky T. Q., et al.
Veröffentlicht: (2023)

LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments
von: Huang, Jin, et al.
Veröffentlicht: (2025)

MobileLLM-Flash: Latency-Guided On-Device LLM Design for Industry Scale Deployment
von: Huang, Hanxian, et al.
Veröffentlicht: (2026)

Optimizing Travel Itineraries with AI Algorithms in a Microservices Architecture: Balancing Cost, Time, Preferences, and Sustainability
von: Barua, Biman, et al.
Veröffentlicht: (2024)

Enhancing Financial VQA in Vision Language Models using Intermediate Structured Representations
von: Srivastava, Archita, et al.
Veröffentlicht: (2025)

Balancing Fairness and Accuracy in Data-Restricted Binary Classification
von: Lazri, Zachary McBride, et al.
Veröffentlicht: (2024)

Acceleration of Grokking in Learning Arithmetic Operations via Kolmogorov-Arnold Representation
von: Park, Yeachan, et al.
Veröffentlicht: (2024)

How Ensemble Learning Balances Accuracy and Overfitting: A Bias-Variance Perspective on Tabular Data
von: Mohammad, Zubair Ahmed
Veröffentlicht: (2025)

Beyond Synthetic Augmentation: Group-Aware Threshold Calibration for Robust Balanced Accuracy in Imbalanced Learning
von: Gittlin, Hunter
Veröffentlicht: (2025)

Balancing Fairness, Privacy, and Accuracy: A Multitask Adversarial Framework for Centralized Data-Driven Systems
von: Ekanayake, Imesh, et al.
Veröffentlicht: (2026)

Balancing Graph Embedding Smoothness in Self-Supervised Learning via Information-Theoretic Decomposition
von: Jung, Heesoo, et al.
Veröffentlicht: (2025)

Pyramid MoA: A Probabilistic Framework for Cost-Optimized Anytime Inference
von: Khaled, Arindam
Veröffentlicht: (2026)

QPART: Adaptive Model Quantization and Dynamic Workload Balancing for Accuracy-aware Edge Inference
von: Li, Xiangchen, et al.
Veröffentlicht: (2025)

$S^3$: Stratified Scaling Search for Test-Time in Diffusion Language Models
von: Bilal, Ahsan, et al.
Veröffentlicht: (2026)

Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency
von: Li, Ruixiao, et al.
Veröffentlicht: (2025)

Dynamic LLM Routing and Selection based on User Preferences: Balancing Performance, Cost, and Ethics
von: Piskala, Deepak Babu, et al.
Veröffentlicht: (2025)

GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
von: Liu, Zifan, et al.
Veröffentlicht: (2026)