Copertina

GPUTOK: GPU Accelerated Byte Level BPE Tokenization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Kadamba, Venu Gopal, Jaisankar, Kanishkha
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computation and Language Artificial Intelligence Distributed, Parallel, and Cluster Computing Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

BlockBPE: Parallel BPE Tokenization
di: You, Amos
Pubblicazione: (2025)

Lobster: A GPU-Accelerated Framework for Neurosymbolic Programming
di: Biberstein, Paul, et al.
Pubblicazione: (2025)

Data Driven Optimization of GPU efficiency for Distributed LLM Adapter Serving
di: Agullo, Ferran, et al.
Pubblicazione: (2026)

Robust LLM Training Infrastructure at ByteDance
di: Wan, Borui, et al.
Pubblicazione: (2025)

BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching
di: Zheng, Zhen, et al.
Pubblicazione: (2024)

AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
di: Li, Zikun, et al.
Pubblicazione: (2025)

GPU Memory Prediction for Multimodal Model Training
di: Jeong, Jinwoo, et al.
Pubblicazione: (2025)

Fine-Tuning GPT-5 for GPU Kernel Generation
di: Tehrani, Ali, et al.
Pubblicazione: (2026)

GEM: GPU-Variability-Aware Expert to GPU Mapping for MoE Systems
di: Wawdhane, Sourish, et al.
Pubblicazione: (2026)

Astra: A Multi-Agent System for GPU Kernel Performance Optimization
di: Wei, Anjiang, et al.
Pubblicazione: (2025)

ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
di: Ge, Hao, et al.
Pubblicazione: (2025)

GPU-Accelerated Synthesis of Mixed-Boolean Arithmetic: Beyond Caching
di: Bathie, Gabriel, et al.
Pubblicazione: (2026)

Making Room for AI: Multi-GPU Molecular Dynamics with Deep Potentials in GROMACS
di: Pennati, Luca, et al.
Pubblicazione: (2026)

Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity
di: Yu, Donglin
Pubblicazione: (2026)

Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM
di: Zhang, Biyao, et al.
Pubblicazione: (2025)

NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
di: Jiang, Xuanlin, et al.
Pubblicazione: (2024)

Improving training time and GPU utilization in geo-distributed language model training
di: Palak, et al.
Pubblicazione: (2024)

Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers
di: Singh, Siddharth, et al.
Pubblicazione: (2025)

FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees
di: Oliaro, Gabriele, et al.
Pubblicazione: (2024)

CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
di: Huang, Shaoyuan, et al.
Pubblicazione: (2026)

Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
di: Dongare, Shruti, et al.
Pubblicazione: (2025)

Context Parallelism for Scalable Million-Token Inference
di: Yang, Amy, et al.
Pubblicazione: (2024)

Llamas on the Web: Memory-Efficient, Performance-Portable, and Multi-Precision LLM Inference with WebGPU
di: Levine, Reese, et al.
Pubblicazione: (2026)

SATER: A Self-Aware and Token-Efficient Approach to Routing and Cascading
di: Shen, Yuanzhe, et al.
Pubblicazione: (2025)

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
di: Jiang, Juyong, et al.
Pubblicazione: (2026)

Trust The Typical
di: Ganguly, Debargha, et al.
Pubblicazione: (2026)

Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense
di: Sundar, Nataraj Agaram, et al.
Pubblicazione: (2026)

MineDraft: A Framework for Batch Parallel Speculative Decoding
di: Tang, Zhenwei, et al.
Pubblicazione: (2026)

Make Every Draft Count: Hidden State based Speculative Decoding
di: Chen, Yuetao, et al.
Pubblicazione: (2026)

PithTrain: A Compact and Agent-Native MoE Training System
di: Lai, Ruihang, et al.
Pubblicazione: (2026)

GuidaPA: Privacy-Preserving Chatbot for Public Administration via Federated Learning
di: Jimenez-Gutierrez, Daniel M., et al.
Pubblicazione: (2026)

Epistemic Observability in Language Models
di: Mason, Tony, et al.
Pubblicazione: (2026)

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs
di: Mei, Yixuan, et al.
Pubblicazione: (2026)

Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale
di: Ku, Jerome, et al.
Pubblicazione: (2025)

Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead
di: Brüel-Gabrielsson, Rickard, et al.
Pubblicazione: (2024)

Advancing MoE Efficiency: A Collaboration-Constrained Routing (C2R) Strategy for Better Expert Parallelism Design
di: Zhang, Mohan, et al.
Pubblicazione: (2025)

CudaForge: An Agent Framework with Hardware Feedback for CUDA Kernel Optimization
di: Zhang, Zijian, et al.
Pubblicazione: (2025)

PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation
di: Ichikawa, Yuma, et al.
Pubblicazione: (2025)

Challenges in Deploying Long-Context Transformers: A Theoretical Peak Performance Analysis
di: Fu, Yao
Pubblicazione: (2024)

Bitnet.cpp: Efficient Edge Inference for Ternary LLMs
di: Wang, Jinheng, et al.
Pubblicazione: (2025)