Buchumschlag

Efficient Training-Free Online Routing for High-Volume Multi-LLM Serving

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Fangzhou, Silwal, Sandeep
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Databases Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Capturing LLM Capabilities via Evidence-Calibrated Query Clustering
von: Wu, Fangzhou, et al.
Veröffentlicht: (2026)

Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective
von: Wu, Fangzhou, et al.
Veröffentlicht: (2026)

DynMuon: A Dynamic Spectral Shaping View of Muon
von: Wu, Fangzhou, et al.
Veröffentlicht: (2026)

BEST-Route: Adaptive LLM Routing with Test-Time Optimal Compute
von: Ding, Dujian, et al.
Veröffentlicht: (2025)

DeepMDV: Global Spatial Matching for Multi-depot Vehicle Routing Problems
von: Nasehi, Saeed, et al.
Veröffentlicht: (2024)

LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning
von: Lin, Xiaotian, et al.
Veröffentlicht: (2025)

LLM+KG@VLDB'24 Workshop Summary
von: Khan, Arijit, et al.
Veröffentlicht: (2024)

OpenMLDB: A Real-Time Relational Data Feature Computation System for Online ML
von: Zhou, Xuanhe, et al.
Veröffentlicht: (2025)

Online Detection of Anomalies in Temporal Knowledge Graphs with Interpretability
von: Zhang, Jiasheng, et al.
Veröffentlicht: (2024)

DOT: Dynamic Knob Selection and Online Sampling for Automated Database Tuning
von: Wang, Yifan, et al.
Veröffentlicht: (2026)

No Need to Train Your RDB Foundation Model
von: Xu, Linjie, et al.
Veröffentlicht: (2026)

Mixtera: A Data Plane for Foundation Model Training
von: Böther, Maximilian, et al.
Veröffentlicht: (2025)

Accelerating Storage-Based Training for Graph Neural Networks
von: Jang, Myung-Hwan, et al.
Veröffentlicht: (2026)

Category-Aware Semantic Caching for Heterogeneous LLM Workloads
von: Wang, Chen, et al.
Veröffentlicht: (2025)

CHESS: Contextual Harnessing for Efficient SQL Synthesis
von: Talaei, Shayan, et al.
Veröffentlicht: (2024)

Interactive Ontology Matching with Cost-Efficient Learning
von: Cheng, Bin, et al.
Veröffentlicht: (2024)

ScaleDoc: Scaling LLM-based Predicates over Large Document Collections
von: Zhang, Hengrui, et al.
Veröffentlicht: (2025)

STGformer: Efficient Spatiotemporal Graph Transformer for Traffic Forecasting
von: Wang, Hongjun, et al.
Veröffentlicht: (2024)

POLAR: Online Learning for LoRA Adapter Caching and Routing in Edge LLM Serving
von: Li, Shaoang, et al.
Veröffentlicht: (2026)

Towards Synthesizing High-Dimensional Tabular Data with Limited Samples
von: Li, Zuqing, et al.
Veröffentlicht: (2025)

E2USD: Efficient-yet-effective Unsupervised State Detection for Multivariate Time Series
von: Lai, Zhichen, et al.
Veröffentlicht: (2024)

KDSelector: A Knowledge-Enhanced and Data-Efficient Model Selector Learning Framework for Time Series Anomaly Detection
von: Liang, Zhiyu, et al.
Veröffentlicht: (2025)

MTSQL-R1: Towards Long-Horizon Multi-Turn Text-to-SQL via Agentic Training
von: Guo, Taicheng, et al.
Veröffentlicht: (2025)

Budget-aware Query Tuning: An AutoML Perspective
von: Wu, Wentao, et al.
Veröffentlicht: (2024)

TransClean: Finding False Positives in Multi-Source Entity Matching under Real-World Conditions via Transitive Consistency
von: Pardo, Fernando de Meer, et al.
Veröffentlicht: (2025)

IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
von: Sharma, Tarun
Veröffentlicht: (2026)

A Survey on Time-Series Distance Measures
von: Paparrizos, John, et al.
Veröffentlicht: (2024)

LLM-Enhanced Data Management
von: Zhou, Xuanhe, et al.
Veröffentlicht: (2024)

Couler: Unified Machine Learning Workflow Optimization in Cloud
von: Wang, Xiaoda, et al.
Veröffentlicht: (2024)

NeurDB: On the Design and Implementation of an AI-powered Autonomous Database
von: Zhao, Zhanhao, et al.
Veröffentlicht: (2024)

TensorBank: Tensor Lakehouse for Foundation Model Training
von: Kienzler, Romeo, et al.
Veröffentlicht: (2023)

NeurDB: An AI-powered Autonomous Data System
von: Ooi, Beng Chin, et al.
Veröffentlicht: (2024)

R-Bot: An LLM-based Query Rewrite System
von: Sun, Zhaoyan, et al.
Veröffentlicht: (2024)

TableGPT2: A Large Multimodal Model with Tabular Data Integration
von: Su, Aofeng, et al.
Veröffentlicht: (2024)

H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables
von: Abhyankar, Nikhil, et al.
Veröffentlicht: (2024)

PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in Open-Source Software
von: Jiang, Wenxin, et al.
Veröffentlicht: (2024)

An Automated LLM-based Pipeline for Asset-Level Database Creation to Assess Deforestation Impact
von: Menon, Avanija, et al.
Veröffentlicht: (2025)

Trajectory Data Management and Mining: A Survey from Deep Learning to the LLM Era
von: Chen, Wei, et al.
Veröffentlicht: (2024)

A Predictive Services Architecture for Efficient Airspace Operations
von: de Oliveira, Ítalo Romani, et al.
Veröffentlicht: (2025)

Efficient Data Access Paths for Mixed Vector-Relational Search
von: Sanca, Viktor, et al.
Veröffentlicht: (2024)