Buchumschlag

Challenges in Deploying Long-Context Transformers: A Theoretical Peak Performance Analysis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Fu, Yao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Efficient Deployment of Large Language Models on Resource-constrained Devices
von: Yao, Zhiwei, et al.
Veröffentlicht: (2025)

Training Ultra Long Context Language Model with Fully Pipelined Distributed Transformer
von: Yao, Jinghan, et al.
Veröffentlicht: (2024)

Deploying Atmospheric and Oceanic AI Models on Chinese Hardware and Framework: Migration Strategies, Performance Optimization and Analysis
von: Sun, Yuze, et al.
Veröffentlicht: (2025)

LongCat-Flash Technical Report
von: Meituan LongCat Team, et al.
Veröffentlicht: (2025)

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models
von: Xue, Fuzhao, et al.
Veröffentlicht: (2024)

MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment
von: Li, Yufei, et al.
Veröffentlicht: (2025)

Etalon: Holistic Performance Evaluation Framework for LLM Inference Systems
von: Agrawal, Amey, et al.
Veröffentlicht: (2024)

Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference
von: Deshmukh, Dhruv, et al.
Veröffentlicht: (2025)

From Centralized to Decentralized Federated Learning: Theoretical Insights, Privacy Preservation, and Robustness Challenges
von: Li, Qiongxiu, et al.
Veröffentlicht: (2025)

Fed-SB: A Silver Bullet for Extreme Communication Efficiency and Performance in (Private) Federated LoRA Fine-Tuning
von: Singhal, Raghav, et al.
Veröffentlicht: (2025)

Improving Parallel Program Performance with LLM Optimizers via Agent-System Interfaces
von: Wei, Anjiang, et al.
Veröffentlicht: (2024)

Optimizing the Deployment of Tiny Transformers on Low-Power MCUs
von: Jung, Victor J. B., et al.
Veröffentlicht: (2024)

LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention
von: Yang, Shang, et al.
Veröffentlicht: (2025)

FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing
von: Liu, Xiao-Yang, et al.
Veröffentlicht: (2024)

ReaL: Efficient RLHF Training of Large Language Models with Parameter Reallocation
von: Mei, Zhiyu, et al.
Veröffentlicht: (2024)

Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques
von: Behera, Adarsh Prasad, et al.
Veröffentlicht: (2025)

Context-Aware Inference via Performance Forecasting in Decentralized Learning Networks
von: Pfeffer, Joel, et al.
Veröffentlicht: (2025)

Pre-Deployment Complexity Estimation for Federated Perception Systems
von: Solaiman, KMA, et al.
Veröffentlicht: (2026)

RL in the Wild: Characterizing RLVR Training in LLM Deployment
von: Zhou, Jiecheng, et al.
Veröffentlicht: (2025)

TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training
von: Wu, Houming, et al.
Veröffentlicht: (2025)

MineDraft: A Framework for Batch Parallel Speculative Decoding
von: Tang, Zhenwei, et al.
Veröffentlicht: (2026)

Taming the Titans: A Survey of Efficient LLM Inference Serving
von: Zhen, Ranran, et al.
Veröffentlicht: (2025)

PithTrain: A Compact and Agent-Native MoE Training System
von: Lai, Ruihang, et al.
Veröffentlicht: (2026)

A Sparsity Predicting Approach for Large Language Models via Activation Pattern Clustering
von: Dhar, Nobel, et al.
Veröffentlicht: (2025)

A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems
von: Liu, Yuze, et al.
Veröffentlicht: (2025)

Advancing MoE Efficiency: A Collaboration-Constrained Routing (C2R) Strategy for Better Expert Parallelism Design
von: Zhang, Mohan, et al.
Veröffentlicht: (2025)

Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter
von: Hu, Qinghao, et al.
Veröffentlicht: (2025)

A Survey on Federated Unlearning: Challenges and Opportunities
von: Jeong, Hyejun, et al.
Veröffentlicht: (2024)

ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
von: Ge, Hao, et al.
Veröffentlicht: (2025)

Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead
von: Brüel-Gabrielsson, Rickard, et al.
Veröffentlicht: (2024)

BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching
von: Zheng, Zhen, et al.
Veröffentlicht: (2024)

SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications
von: Oliaro, Gabriele, et al.
Veröffentlicht: (2024)

DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
von: Gao, Chao, et al.
Veröffentlicht: (2024)

Liger Kernel: Efficient Triton Kernels for LLM Training
von: Hsu, Pin-Lun, et al.
Veröffentlicht: (2024)

Toward Sustainable GenAI using Generation Directives for Carbon-Friendly Large Language Model Inference
von: Li, Baolin, et al.
Veröffentlicht: (2024)

Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models
von: Liu, Ji, et al.
Veröffentlicht: (2024)

TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training
von: Liang, Wanchao, et al.
Veröffentlicht: (2024)

BlackMamba: Mixture of Experts for State-Space Models
von: Anthony, Quentin, et al.
Veröffentlicht: (2024)

End-Cloud Collaboration Framework for Advanced AI Customer Service in E-commerce
von: Teng, Liangyu, et al.
Veröffentlicht: (2024)

Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference
von: Timor, Nadav, et al.
Veröffentlicht: (2024)