Buchumschlag

Sustainable LLM Inference using Context-Aware Model Switching

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yuvarani, Singh, Akashdeep, Fathanah, Zahra, Harlen, Salsabila, Zahari, Syeikha Syafura Al-Zahra binti, Subramaniam, Hema
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LunaAI: A Polite and Fair Healthcare Guidance Chatbot
von: Ganesan, Yuvarani, et al.
Veröffentlicht: (2026)

Learning to Extract Context for Context-Aware LLM Inference
von: Kim, Minseon, et al.
Veröffentlicht: (2025)

Causal Generative Explainers using Counterfactual Inference: A Case Study on the Morpho-MNIST Dataset
von: Taylor-Melanson, Will, et al.
Veröffentlicht: (2024)

Validating Interpretability in siRNA Efficacy Prediction: A Perturbation-Based, Dataset-Aware Protocol
von: Khodagholi, Zahra, et al.
Veröffentlicht: (2026)

GreenServ: Energy-Efficient Context-Aware Dynamic Routing for Multi-Model LLM Inference
von: Ziller, Thomas, et al.
Veröffentlicht: (2026)

Choice Models and Permutation Invariance: Demand Estimation in Differentiated Products Markets
von: Singh, Amandeep, et al.
Veröffentlicht: (2023)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
von: Tang, Jiaming, et al.
Veröffentlicht: (2024)

Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
von: Liskavets, Barys, et al.
Veröffentlicht: (2024)

LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments
von: Ye, Zikun, et al.
Veröffentlicht: (2024)

ModeSwitch-LLM: A Lightweight Phase-Aware Controller for Cross-Mode LLM Inference on a Single GPU
von: Sunesh, Aman, et al.
Veröffentlicht: (2026)

A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data
von: Lotfi, Zahra, et al.
Veröffentlicht: (2025)

Mental Accounts for Actions: EWA-Inspired Attention in Decision Transformers
von: Aref, Zahra, et al.
Veröffentlicht: (2025)

Optimal Transport-Assisted Risk-Sensitive Q-Learning
von: Shahrooei, Zahra, et al.
Veröffentlicht: (2024)

A Review of Global Sensitivity Analysis Methods and a comparative case study on Digit Classification
von: Sadeghi, Zahra, et al.
Veröffentlicht: (2024)

Wasserstein Barycenter Soft Actor-Critic
von: Shahrooei, Zahra, et al.
Veröffentlicht: (2025)

Optimal Transport-Guided Safety in Temporal Difference Reinforcement Learning
von: Shahrooei, Zahra, et al.
Veröffentlicht: (2025)

ContextFlow: Context-Aware Flow Matching For Trajectory Inference From Spatial Omics Data
von: Rathod, Santanu Subhash, et al.
Veröffentlicht: (2025)

Bayes-Split-Edge: Bayesian Optimization for Constrained Collaborative Inference in Wireless Edge Systems
von: Safaeipour, Fatemeh Zahra, et al.
Veröffentlicht: (2025)

A Recursive Partitioning Approach for Dynamic Discrete Choice Modeling in High Dimensional Settings
von: Barzegary, Ebrahim, et al.
Veröffentlicht: (2022)

Context-Aware Assistant Selection for Improved Inference Acceleration with Large Language Models
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

Falsification of Cyber-Physical Systems using Bayesian Optimization
von: Ramezani, Zahra, et al.
Veröffentlicht: (2022)

A Context-Contrastive Inference Approach To Partial Diacritization
von: ElNokrashy, Muhammad, et al.
Veröffentlicht: (2024)

Efficient LLM Inference using Dynamic Input Pruning and Cache-Aware Masking
von: Federici, Marco, et al.
Veröffentlicht: (2024)

Externally Validated Longitudinal GRU Model for Visit-Level 180-Day Mortality Risk in Metastatic Castration-Resistant Prostate Cancer
von: Mencia-Ledo, Javier, et al.
Veröffentlicht: (2026)

Dynamic Sheaf Diffusion Networks with Adaptive Local Structure for Heterogeneous Spatio-Temporal Graph Learning
von: Mostafa, Abeer, et al.
Veröffentlicht: (2026)

Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations
von: Cissee, Carolin, et al.
Veröffentlicht: (2026)

Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees
von: Rahiminasab, Zahra, et al.
Veröffentlicht: (2025)

Physics-Informed Neural Networks For Semiconductor Film Deposition: A Review
von: Han, Tao, et al.
Veröffentlicht: (2025)

Fairness Regularization in Federated Learning
von: Kharaghani, Zahra, et al.
Veröffentlicht: (2025)

HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference
von: Deng, Weishu, et al.
Veröffentlicht: (2025)

Context-Aware Probabilistic Modeling with LLM for Multimodal Time Series Forecasting
von: Yao, Yueyang, et al.
Veröffentlicht: (2025)

LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
von: Gu, Zhuohan, et al.
Veröffentlicht: (2024)

BiTA: Bidirectional Gated Recurrent Unit-Transformer Aggregator in a Temporal Graph Network Framework for Alert Prediction in Computer Networks
von: Nayeri, Zahra Makki, et al.
Veröffentlicht: (2026)

Constrained multi-fidelity Bayesian optimization with automatic stop condition
von: Foumani, Zahra Zanjani, et al.
Veröffentlicht: (2025)

TA-RNN-Medical-Hybrid: A Time-Aware and Interpretable Framework for Mortality Risk Prediction
von: Jafari, Zahra, et al.
Veröffentlicht: (2026)

Ego4OOD: Rethinking Egocentric Video Domain Generalization via Covariate Shift Scoring
von: Vaseqi, Zahra, et al.
Veröffentlicht: (2026)

Neural-Inspired Posterior Approximation (NIPA)
von: Shahbaba, Babak, et al.
Veröffentlicht: (2026)

Multimodal Deep Learning for Dynamic and Static Neuroimaging: Integrating MRI and fMRI for Alzheimer Disease Analysis
von: Kujur, Anima, et al.
Veröffentlicht: (2026)

Electrocardiogram Classification with Transformers Using Koopman and Wavelet Features
von: Ghosh, Sucheta, et al.
Veröffentlicht: (2026)

Fractional Concepts in Neural Networks: Enhancing Activation Functions
von: Alijani, Zahra, et al.
Veröffentlicht: (2023)