Buchumschlag

TMA-Adaptive FP8 Grouped GEMM: Eliminating Padding Requirements in Low-Precision Training and Inference on Hopper

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Su, Zhongling, Fu, Rong, Cao, Weihan, Gao, Jianfei, Jin, Minxi, Pei, Zhilin, Wang, Hui
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Hardware Architecture
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FIGLUT: An Energy-Efficient Accelerator Design for FP-INT GEMM Using Look-Up Tables
von: Park, Gunho, et al.
Veröffentlicht: (2025)

Faster Inference of LLMs using FP8 on the Intel Gaudi
von: Lee, Joonhyung, et al.
Veröffentlicht: (2025)

tuGEMM: Area-Power-Efficient Temporal Unary GEMM Architecture for Low-Precision Edge AI
von: Nair, Harideep, et al.
Veröffentlicht: (2024)

A Scalable FPGA Architecture With Adaptive Memory Utilization for GEMM-Based Operations
von: Petropoulos, Anastasios, et al.
Veröffentlicht: (2025)

MixFP4: Enhancing NVFP4 with Adaptive FP4/INT4 Block Representations
von: Zou, Jiaxiang, et al.
Veröffentlicht: (2026)

Benchmarking and Dissecting the Nvidia Hopper GPU Architecture
von: Luo, Weile, et al.
Veröffentlicht: (2024)

GEMM-GS: Accelerating 3D Gaussian Splatting on Tensor Cores with GEMM-Compatible Blending
von: Li, Haomin, et al.
Veröffentlicht: (2026)

Optimizing GEMM for Energy and Performance on Versal ACAP Architectures
von: Papalamprou, Ilias, et al.
Veröffentlicht: (2025)

Transitive Array: An Efficient GEMM Accelerator with Result Reuse
von: Guo, Cong, et al.
Veröffentlicht: (2025)

Efficient Approaches for GEMM Acceleration on Leading AI-Optimized FPGAs
von: Taka, Endri, et al.
Veröffentlicht: (2024)

MACO: Exploring GEMM Acceleration on a Loosely-Coupled Multi-core Processor
von: Sui, Bingcai, et al.
Veröffentlicht: (2024)

Striking the Balance: GEMM Performance Optimization Across Generations of Ryzen AI NPUs
von: Taka, Endri, et al.
Veröffentlicht: (2025)

GAMA: High-Performance GEMM Acceleration on AMD Versal ML-Optimized AI Engines
von: Mhatre, Kaustubh, et al.
Veröffentlicht: (2025)

SageAttention3: Microscaling FP4 Attention for Inference and An Exploration of 8-Bit Training
von: Zhang, Jintao, et al.
Veröffentlicht: (2025)

DGEMM without FP64 Arithmetic - Using FP64 Emulation and FP8 Tensor Cores with Ozaki Scheme
von: Mukunoki, Daichi
Veröffentlicht: (2025)

A Stochastic Rounding-Enabled Low-Precision Floating-Point MAC for DNN Training
von: Ali, Sami Ben, et al.
Veröffentlicht: (2024)

tubGEMM: Energy-Efficient and Sparsity-Effective Temporal-Unary-Binary Based Matrix Multiply Unit
von: Vellaisamy, Prabhu, et al.
Veröffentlicht: (2024)

O-POPE: High-Frequency Pipelined Outer Product based GEMM acceleration with minimal buffering overhead
von: Cammarata, Danilo, et al.
Veröffentlicht: (2026)

Balancing FP8 Computation Accuracy and Efficiency on Digital CIM via Shift-Aware On-the-fly Aligned-Mantissa Bitwidth Prediction
von: Zhao, Liang, et al.
Veröffentlicht: (2026)

M-ANT: Efficient Low-bit Group Quantization for LLMs via Mathematically Adaptive Numerical Type
von: Hu, Weiming, et al.
Veröffentlicht: (2025)

Schrödinger's FP: Dynamic Adaptation of Floating-Point Containers for Deep Learning Training
von: Nikolić, Miloš, et al.
Veröffentlicht: (2022)

Hardware-Efficient CNNs: Interleaved Approximate FP32 Multipliers for Kernel Computation
von: Gowda, Bindu G, et al.
Veröffentlicht: (2025)

Reducing the Cost of Dropout in Flash-Attention by Hiding RNG with GEMM
von: Ma, Haiyue, et al.
Veröffentlicht: (2024)

A Low-Dissipation and Scalable GEMM Accelerator with Silicon Nitride Photonics
von: Karempudi, Venkata Sai Praneeth, et al.
Veröffentlicht: (2024)

SPARQLe: Sub-Precision Activation Representation for Quantized LLM Inference
von: Parvathy, Aradhana Mohan, et al.
Veröffentlicht: (2026)

Leveraging Stochastic Depth Training for Adaptive Inference
von: Korol, Guilherme, et al.
Veröffentlicht: (2025)

SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision
von: Choi, Yuseon, et al.
Veröffentlicht: (2025)

Pushing the Limits of BFP on Narrow Precision LLM Inference
von: Wang, Hui, et al.
Veröffentlicht: (2025)

MiniFloat-NN and ExSdotp: An ISA Extension and a Modular Open Hardware Unit for Low-Precision Training on RISC-V cores
von: Bertaccini, Luca, et al.
Veröffentlicht: (2022)

XtraMAC: An Efficient MAC Architecture for Mixed-Precision LLM Inference on FPGA
von: Yu, Feng, et al.
Veröffentlicht: (2026)

ADiP: Adaptive-Precision Systolic Array for Matrix Multiplication Acceleration
von: Abdelmaksoud, Ahmed J., et al.
Veröffentlicht: (2025)

SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training
von: Pan, Yunjie, et al.
Veröffentlicht: (2026)

Eliminating the Hidden Cost of Zone Management in ZNS SSDs
von: Bagashvili, Teona, et al.
Veröffentlicht: (2025)

A Scalable RISC-V Vector Processor Enabling Efficient Multi-Precision DNN Inference
von: Wang, Chuanning, et al.
Veröffentlicht: (2024)

VitaLLM: A Versatile and Tiny Accelerator for Mixed-Precision LLM Inference on Edge Devices
von: Lin, Zi-Wei, et al.
Veröffentlicht: (2026)

Increasing the Energy-Efficiency of Wearables Using Low-Precision Posit Arithmetic with PHEE
von: Mallasén, David, et al.
Veröffentlicht: (2025)

SPEED: A Scalable RISC-V Vector Processor Enabling Efficient Multi-Precision DNN Inference
von: Wang, Chuanning, et al.
Veröffentlicht: (2024)

Topkima-Former: Low-energy, Low-Latency Inference for Transformers using top-k In-memory ADC
von: Dong, Shuai, et al.
Veröffentlicht: (2024)

ONNX-to-Hardware Design Flow for Adaptive Neural-Network Inference on FPGAs
von: Manca, Federico, et al.
Veröffentlicht: (2024)

MAGNet: A Multi-Scale Attention-Guided Graph Fusion Network for DRC Violation Detection
von: Lu, Weihan, et al.
Veröffentlicht: (2025)