Hyft: A Reconfigurable Softmax Accelerator with Hybrid Numeric Format for both Training and Inference
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Xia, Tianhua, Zhang, Sai Qian |
|---|---|
| Format: | Preprint |
| Publié: |
2023
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
HAAN: A Holistic Approach for Accelerating Normalization Operations in Large Language Models
par: Peng, Tianfan, et autres
Publié: (2025)
par: Peng, Tianfan, et autres
Publié: (2025)
Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
par: Xia, Tianhua, et autres
Publié: (2025)
par: Xia, Tianhua, et autres
Publié: (2025)
P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
par: Chen, Yuzong, et autres
Publié: (2025)
par: Chen, Yuzong, et autres
Publié: (2025)
A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
par: Belano, Andrea, et autres
Publié: (2024)
par: Belano, Andrea, et autres
Publié: (2024)
Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference
par: Yubeaton, Patrick, et autres
Publié: (2025)
par: Yubeaton, Patrick, et autres
Publié: (2025)
FireFly-S: Exploiting Dual-Side Sparsity for Spiking Neural Networks Acceleration with Reconfigurable Spatial Architecture
par: Li, Tenglong, et autres
Publié: (2024)
par: Li, Tenglong, et autres
Publié: (2024)
RPCAcc: A High-Performance and Reconfigurable PCIe-attached RPC Accelerator
par: Zhang, Jie, et autres
Publié: (2024)
par: Zhang, Jie, et autres
Publié: (2024)
VIKIN: A Reconfigurable Accelerator for KANs and MLPs with Two-Stage Sparsity Support
par: Ou, Wenhui, et autres
Publié: (2026)
par: Ou, Wenhui, et autres
Publié: (2026)
A Reconfigurable Framework for AI-FPGA Agent Integration and Acceleration
par: Yunusoglu, Aybars, et autres
Publié: (2026)
par: Yunusoglu, Aybars, et autres
Publié: (2026)
ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized Transformers
par: İslamoğlu, Gamze, et autres
Publié: (2023)
par: İslamoğlu, Gamze, et autres
Publié: (2023)
Taming the Exponential: A Fast Softmax Surrogate for Integer-Native Edge Inference
par: Danopoulos, Dimitrios, et autres
Publié: (2026)
par: Danopoulos, Dimitrios, et autres
Publié: (2026)
An FPGA-Based Reconfigurable Accelerator for Convolution-Transformer Hybrid EfficientViT
par: Shao, Haikuo, et autres
Publié: (2024)
par: Shao, Haikuo, et autres
Publié: (2024)
MINISA: Minimal Instruction Set Architecture for Next-gen Reconfigurable Inference Accelerator
par: Tong, Jianming, et autres
Publié: (2026)
par: Tong, Jianming, et autres
Publié: (2026)
FILCO: Flexible Composing Architecture with Real-Time Reconfigurability for DNN Acceleration
par: Chen, Xingzhen, et autres
Publié: (2026)
par: Chen, Xingzhen, et autres
Publié: (2026)
STAR: An Efficient Softmax Engine for Attention Model with RRAM Crossbar
par: Zhai, Yifeng, et autres
Publié: (2024)
par: Zhai, Yifeng, et autres
Publié: (2024)
DPU or GPU for Accelerating Neural Networks Inference -- Why not both? Split CNN Inference
par: Oztas, Ali Emre, et autres
Publié: (2026)
par: Oztas, Ali Emre, et autres
Publié: (2026)
HURRY: Highly Utilized, Reconfigurable ReRAM-based In-situ Accelerator with Multifunctionality
par: Shin, Hery, et autres
Publié: (2024)
par: Shin, Hery, et autres
Publié: (2024)
Hardware Efficient Accelerator for Spiking Transformer With Reconfigurable Parallel Time Step Computing
par: Chen, Bo-Yu, et autres
Publié: (2025)
par: Chen, Bo-Yu, et autres
Publié: (2025)
VEXP: A Low-Cost RISC-V ISA Extension for Accelerated Softmax Computation in Transformers
par: Wang, Run, et autres
Publié: (2025)
par: Wang, Run, et autres
Publié: (2025)
FEATHER: A Reconfigurable Accelerator with Data Reordering Support for Low-Cost On-Chip Dataflow Switching
par: Tong, Jianming, et autres
Publié: (2024)
par: Tong, Jianming, et autres
Publié: (2024)
SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
par: Wang, Wenxun, et autres
Publié: (2025)
par: Wang, Wenxun, et autres
Publié: (2025)
A Dataflow Compiler for Efficient LLM Inference using Custom Microscaling Formats
par: Cheng, Jianyi, et autres
Publié: (2023)
par: Cheng, Jianyi, et autres
Publié: (2023)
VersaQ-3D: A Reconfigurable Accelerator Enabling Feed-Forward and Generalizable 3D Reconstruction via Versatile Quantization
par: Zhang, Yipu, et autres
Publié: (2026)
par: Zhang, Yipu, et autres
Publié: (2026)
Demystifying the 7-D Convolution Loop Nest for Data and Instruction Streaming in Reconfigurable AI Accelerators
par: Chowdhury, Md Rownak Hossain, et autres
Publié: (2025)
par: Chowdhury, Md Rownak Hossain, et autres
Publié: (2025)
Accelerating Mini-batch HGNN Training by Reducing CUDA Kernels
par: Wu, Meng, et autres
Publié: (2024)
par: Wu, Meng, et autres
Publié: (2024)
A Switch-Centric In-Network Architecture for Accelerating LLM Inference in Shared-Memory Network
par: Jiang, Aojie, et autres
Publié: (2026)
par: Jiang, Aojie, et autres
Publié: (2026)
PD-Swap: Prefill-Decode Logic Swapping for End-to-End LLM Inference on Edge FPGAs via Dynamic Partial Reconfiguration
par: Zhang, Yifan, et autres
Publié: (2025)
par: Zhang, Yifan, et autres
Publié: (2025)
SAIL: SRAM-Accelerated LLM Inference System with Lookup-Table-based GEMV
par: Zhang, Jingyao, et autres
Publié: (2025)
par: Zhang, Jingyao, et autres
Publié: (2025)
HEANA: A Hybrid Time-Amplitude Analog Optical Accelerator with Flexible Dataflows for Energy-Efficient CNN Inference
par: Vatsavai, Sairam Sri, et autres
Publié: (2024)
par: Vatsavai, Sairam Sri, et autres
Publié: (2024)
Hybrid Photonic-digital Accelerator for Attention Mechanism
par: Li, Huize, et autres
Publié: (2025)
par: Li, Huize, et autres
Publié: (2025)
Hybrid SLC-MLC RRAM Mixed-Signal Processing-in-Memory Architecture for Transformer Acceleration via Gradient Redistribution
par: Song, Chang Eun, et autres
Publié: (2025)
par: Song, Chang Eun, et autres
Publié: (2025)
SpeedLLM: An FPGA Co-design of Large Language Model Inference Accelerator
par: Wang, Peipei, et autres
Publié: (2025)
par: Wang, Peipei, et autres
Publié: (2025)
FTTN: Feature-Targeted Testing for Numerical Properties of NVIDIA & AMD Matrix Accelerators
par: Li, Xinyi, et autres
Publié: (2024)
par: Li, Xinyi, et autres
Publié: (2024)
FETTA: Flexible and Efficient Hardware Accelerator for Tensorized Neural Network Training
par: Lu, Jinming, et autres
Publié: (2025)
par: Lu, Jinming, et autres
Publié: (2025)
Reconfigurable Stream Network Architecture
par: Wang, Chengyue, et autres
Publié: (2024)
par: Wang, Chengyue, et autres
Publié: (2024)
SpecMamba: Accelerating Mamba Inference on FPGA with Speculative Decoding
par: Zhong, Linfeng, et autres
Publié: (2025)
par: Zhong, Linfeng, et autres
Publié: (2025)
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
par: Wu, Yuting, et autres
Publié: (2023)
par: Wu, Yuting, et autres
Publié: (2023)
Mapping Space Exploration for Multi-Chiplet Accelerators Targeting LLM Inference Serving Workloads
par: Li, Boyu, et autres
Publié: (2025)
par: Li, Boyu, et autres
Publié: (2025)
VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration
par: Wipfli, Max, et autres
Publié: (2026)
par: Wipfli, Max, et autres
Publié: (2026)
Hardware Acceleration of Kolmogorov-Arnold Network (KAN) for Lightweight Edge Inference
par: Huang, Wei-Hsing, et autres
Publié: (2024)
par: Huang, Wei-Hsing, et autres
Publié: (2024)
Documents similaires
-
HAAN: A Holistic Approach for Accelerating Normalization Operations in Large Language Models
par: Peng, Tianfan, et autres
Publié: (2025) -
Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
par: Xia, Tianhua, et autres
Publié: (2025) -
P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
par: Chen, Yuzong, et autres
Publié: (2025) -
A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
par: Belano, Andrea, et autres
Publié: (2024) -
Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference
par: Yubeaton, Patrick, et autres
Publié: (2025)