Buchumschlag

Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rathi, Saksham, Preeti, Vutukuru, Mythili
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Reliability Estimation of News Media Sources: Birds of a Feather Flock Together
von: Burdisso, Sergio, et al.
Veröffentlicht: (2024)

BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching
von: Zheng, Zhen, et al.
Veröffentlicht: (2024)

Hydragen: High-Throughput LLM Inference with Shared Prefixes
von: Juravsky, Jordan, et al.
Veröffentlicht: (2024)

Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
von: Liu, Mengfan, et al.
Veröffentlicht: (2026)

SCORPIO: Serving the Right Requests at the Right Time for Heterogeneous SLOs in LLM Inference
von: Tang, Yinghao, et al.
Veröffentlicht: (2025)

RW-TTT: Batched Serving for Request-Owned Test-Time Training State
von: Yang, Jian, et al.
Veröffentlicht: (2026)

Researchers of a Feather Flock Together: Endogamy Recruitment Tracks for Industrial Researchers
von: Céline Antonin, et al.
Veröffentlicht: (2025)

AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size
von: Ostroukhov, Petr, et al.
Veröffentlicht: (2024)

Apt-Serve: Adaptive Request Scheduling on Hybrid Cache for Scalable LLM Inference Serving
von: Gao, Shihong, et al.
Veröffentlicht: (2025)

Partially Observable Gaussian Process Network and Doubly Stochastic Variational Inference
von: Kiroriwal, Saksham, et al.
Veröffentlicht: (2025)

MarginGate: Sparse Margin-Triggered Verification for Batch-Invariant LLM Inference
von: Chu, Kexin, et al.
Veröffentlicht: (2026)

Convergence Bound and Critical Batch Size of Muon Optimizer
von: Sato, Naoki, et al.
Veröffentlicht: (2025)

No Request Left Behind: Tackling Heterogeneity in Long-Context LLM Inference with Medha
von: Agrawal, Amey, et al.
Veröffentlicht: (2024)

Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency
von: Li, Ruixiao, et al.
Veröffentlicht: (2025)

Critical Batch Size Revisited: A Simple Empirical Approach to Large-Batch Language Model Training
von: Merrill, William, et al.
Veröffentlicht: (2025)

Birds of a Feather Flock Together: Background-Invariant Representations via Linear Structure in VLMs
von: Zaazou, Youssef, et al.
Veröffentlicht: (2026)

Feather: An Elegant Solution to Effective DNN Sparsification
von: Georgoulakis, Athanasios Glentis, et al.
Veröffentlicht: (2023)

Inference for Batched Adaptive Experiments
von: Kemper, Jan, et al.
Veröffentlicht: (2025)

Sparse Prefix Caching for Hybrid and Recurrent LLM Serving
von: Shirokikh, Mikhail, et al.
Veröffentlicht: (2026)

PrefixWall: Mitigating Prefix Caching Side Channels in Shared LLM Systems
von: Pennas, Panagiotis Georgios, et al.
Veröffentlicht: (2026)

Polar Sparsity: High Throughput Batched LLM Inferencing with Scalable Contextual Sparsity
von: Shrestha, Susav, et al.
Veröffentlicht: (2025)

Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling
von: Li, Shuaipeng, et al.
Veröffentlicht: (2024)

Smaller Batches, Bigger Gains? Investigating the Impact of Batch Sizes on Reinforcement Learning Based Real-World Production Scheduling
von: Müller, Arthur, et al.
Veröffentlicht: (2024)

MemoryGraft: Persistent Compromise of LLM Agents via Poisoned Experience Retrieval
von: Srivastava, Saksham Sahai, et al.
Veröffentlicht: (2025)

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training
von: Bergsma, Shane, et al.
Veröffentlicht: (2025)

Multi-Bin Batching for Increasing LLM Inference Throughput
von: Guldogan, Ozgur, et al.
Veröffentlicht: (2024)

Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
von: Kamo, Keisuke, et al.
Veröffentlicht: (2025)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

AntBatchInfer: Elastic Batch Inference in the Kubernetes Cluster
von: Li, Siyuan, et al.
Veröffentlicht: (2024)

Birds of a Different Feather Flock Together: Exploring Opportunities and Challenges in Animal-Human-Machine Teaming
von: Cohen, Myke C., et al.
Veröffentlicht: (2025)

PackInfer: Compute- and I/O-Efficient Attention for Batched LLM Inference
von: Ning, Rui, et al.
Veröffentlicht: (2026)

Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
von: Recasens, Pol G., et al.
Veröffentlicht: (2025)

AdvPrefix: An Objective for Nuanced LLM Jailbreaks
von: Zhu, Sicheng, et al.
Veröffentlicht: (2024)

Prefix Grouper: Efficient GRPO Training through Shared-Prefix Forward
von: Liu, Zikang, et al.
Veröffentlicht: (2025)

Collaborative Batch Size Optimization for Federated Learning
von: Geimer, Arno, et al.
Veröffentlicht: (2025)

Beware of the Batch Size: Hyperparameter Bias in Evaluating LoRA
von: Lee, Sangyoon, et al.
Veröffentlicht: (2026)

Scaling Law for Language Models Training Considering Batch Size
von: Shuai, Xian, et al.
Veröffentlicht: (2024)

Investigating Batch Inference in a Sequential Monte Carlo Framework for Neural Networks
von: Millard, Andrew, et al.
Veröffentlicht: (2026)

PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
von: Chen, Mengzhao, et al.
Veröffentlicht: (2024)

DIVEBATCH: Accelerating Model Training Through Gradient-Diversity Aware Batch Size Adaptation
von: Chen, Yuen, et al.
Veröffentlicht: (2025)