Buchumschlag

The Feasibility of Implementing Large-Scale Transformers on Multi-FPGA Platforms

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gao, Yu, Vega, Juan Camilo, Chow, Paul
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Hardware Architecture Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Accelerating Recommender Model ETL with a Streaming FPGA-GPU Dataflow
von: Zhu, Yu, et al.
Veröffentlicht: (2025)

Accelerating Transposed Convolutions on FPGA-based Edge Devices
von: Haris, Jude, et al.
Veröffentlicht: (2025)

Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
von: Centeno, Sed, et al.
Veröffentlicht: (2025)

FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
von: Zhu, Zeyu, et al.
Veröffentlicht: (2024)

Llumnix: Dynamic Scheduling for Large Language Model Serving
von: Sun, Biao, et al.
Veröffentlicht: (2024)

Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
von: Blanco, Francesco G., et al.
Veröffentlicht: (2024)

Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
von: Russo, Enrico, et al.
Veröffentlicht: (2024)

Performance Modeling and Workload Analysis of Distributed Large Language Model Training and Inference
von: Kundu, Joyjit, et al.
Veröffentlicht: (2024)

FPGA Innovation Research in the Netherlands: Present Landscape and Future Outlook
von: Alachiotis, Nikolaos, et al.
Veröffentlicht: (2025)

A High Energy-Efficiency Multi-core Neuromorphic Architecture for Deep SNN Training
von: Li, Mingjing, et al.
Veröffentlicht: (2024)

MAD Max Beyond Single-Node: Enabling Large Machine Learning Model Acceleration on Distributed Systems
von: Hsia, Samuel, et al.
Veröffentlicht: (2023)

MATCHA: Efficient Deployment of Deep Neural Networks on Multi-Accelerator Heterogeneous Edge SoCs
von: Russo, Enrico, et al.
Veröffentlicht: (2026)

EPOCH: Enabling Preemption Operation for Context Saving in Heterogeneous FPGA Systems
von: Malik, Arsalan Ali, et al.
Veröffentlicht: (2025)

Enabling Time-Aware Priority Traffic Management over Distributed FPGA Nodes
von: Scionti, Alberto, et al.
Veröffentlicht: (2025)

FLEX: Leveraging FPGA-CPU Synergy for Mixed-Cell-Height Legalization Acceleration
von: Liu, Xingyu, et al.
Veröffentlicht: (2025)

RapidOMS: FPGA-based Open Modification Spectral Library Searching with HD Computing
von: Pinge, Sumukh, et al.
Veröffentlicht: (2024)

FedUHD: Unsupervised Federated Learning using Hyperdimensional Computing
von: Lee, You Hak, et al.
Veröffentlicht: (2025)

Security Risks Due to Data Persistence in Cloud FPGA Platforms
von: Zhang, Zhehang, et al.
Veröffentlicht: (2024)

Context-aware Simopt-Power: Using structural data with simulation metadata to optimise FPGA designs
von: Wadhwa, Eashan, et al.
Veröffentlicht: (2026)

MANOJAVAM: A Scalable, Unified FPGA Accelerator for Matrix Multiplication and Singular Value Decomposition in Principal Component Analysis
von: Ramasubramanian, Srivaths, et al.
Veröffentlicht: (2026)

Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
von: Yu, Zhongkai, et al.
Veröffentlicht: (2025)

Multi-Partner Project: Multi-GPU Performance Portability Analysis for CFD Simulations at Scale
von: Eleftherakis, Panagiotis-Eleftherios, et al.
Veröffentlicht: (2026)

MLDSE: Scaling Design Space Exploration Infrastructure for Multi-Level Hardware
von: Qu, Huanyu, et al.
Veröffentlicht: (2025)

Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
von: Saroliya, Urvij, et al.
Veröffentlicht: (2024)

MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI
von: Tschand, Arya, et al.
Veröffentlicht: (2024)

LayerDAG: A Layerwise Autoregressive Diffusion Model for Directed Acyclic Graph Generation
von: Li, Mufei, et al.
Veröffentlicht: (2024)

AI and Memory Wall
von: Gholami, Amir, et al.
Veröffentlicht: (2024)

Toward Cross-Layer Energy Optimizations in AI Systems
von: Chung, Jae-Won, et al.
Veröffentlicht: (2024)

Integrated Hardware Architecture and Device Placement Search
von: Wang, Irene, et al.
Veröffentlicht: (2024)

Efficient, VRAM-Constrained xLM Inference on Clients
von: Ukarande, Aditya, et al.
Veröffentlicht: (2026)

A Survey on Graph Neural Network Acceleration: Algorithms, Systems, and Customized Hardware
von: Zhang, Shichang, et al.
Veröffentlicht: (2023)

FlashMoE: Fast Distributed MoE in a Single Kernel
von: Aimuyo, Osayamen Jonathan, et al.
Veröffentlicht: (2025)

ELK: Exploring the Efficiency of Inter-core Connected AI Chips with Deep Learning Compiler Techniques
von: Liu, Yiqi, et al.
Veröffentlicht: (2025)

Observation, Not Prediction: Conversation-Level Disaggregated Scheduling for Agentic Serving
von: Ding, Jianru, et al.
Veröffentlicht: (2026)

F-BFQ: Flexible Block Floating-Point Quantization Accelerator for LLMs
von: Haris, Jude, et al.
Veröffentlicht: (2025)

SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference
von: Zhang, Hengrui, et al.
Veröffentlicht: (2025)

WWW: What, When, Where to Compute-in-Memory
von: Sharma, Tanvi, et al.
Veröffentlicht: (2023)

INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing
von: Abi-Karam, Stefan, et al.
Veröffentlicht: (2023)

Design Space Exploration of DMA based Finer-Grain Compute Communication Overlap
von: Pal, Shagnik, et al.
Veröffentlicht: (2025)

Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
von: Klein, Bernhard, et al.
Veröffentlicht: (2025)