Copertina

ConSmax: Hardware-Friendly Alternative Softmax with Learnable Parameters

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Liu, Shiwei, Tao, Guanchen, Zou, Yifei, Chow, Derek, Fan, Zichen, Lei, Kauna, Pan, Bangfei, Sylvester, Dennis, Kielian, Gregory, Saligane, Mehdi
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Hardware Architecture Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Pinball: A Cryogenic Predecoder for Surface Code Decoding Under Circuit-Level Noise
di: Knapen, Alexander, et al.
Pubblicazione: (2025)

Mitigating Classical Resource Costs in Quantum Error Correction via Generalized qLDPC Predecoding
di: Knapen, Alexander, et al.
Pubblicazione: (2026)

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models
di: Jiang, Xinting, et al.
Pubblicazione: (2026)

Reusing Softmax Hardware Unit for GELU Computation in Transformers
di: Peltekis, Christodoulos, et al.
Pubblicazione: (2024)

Hardware-Efficient Softmax and Layer Normalization with Guaranteed Normalization for Edge Devices
di: Choi, Dawon, et al.
Pubblicazione: (2026)

SoftmAP: Software-Hardware Co-design for Integer-Only Softmax on Associative Processors
di: Rakka, Mariam, et al.
Pubblicazione: (2024)

SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
di: Wang, Wenxun, et al.
Pubblicazione: (2025)

Hardware-Friendly Delayed-Feedback Reservoir for Multivariate Time-Series Classification
di: Ikeda, Sosei, et al.
Pubblicazione: (2025)

STAR: An Efficient Softmax Engine for Attention Model with RRAM Crossbar
di: Zhai, Yifeng, et al.
Pubblicazione: (2024)

SQ-DM: Accelerating Diffusion Models with Aggressive Quantization and Temporal Sparsity
di: Fan, Zichen, et al.
Pubblicazione: (2025)

HLStrans: Dataset for C-to-HLS Hardware Code Synthesis
di: Zou, Qingyun, et al.
Pubblicazione: (2025)

Hyft: A Reconfigurable Softmax Accelerator with Hybrid Numeric Format for both Training and Inference
di: Xia, Tianhua, et al.
Pubblicazione: (2023)

A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
di: Belano, Andrea, et al.
Pubblicazione: (2024)

Hardware-Friendly Randomization: Enabling Random-Access and Minimal Wiring in FHE Accelerators with Low Total Cost
di: Rosenfeld, Ilan, et al.
Pubblicazione: (2026)

ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized Transformers
di: İslamoğlu, Gamze, et al.
Pubblicazione: (2023)

DDC: A Vision for a Disaggregated Datacenter
di: Ewais, Mohammad, et al.
Pubblicazione: (2024)

Hardware-Friendly Implementation of Physical Reservoir Computing with CMOS-based Time-domain Analog Spiking Neurons
di: Kimura, Nanako, et al.
Pubblicazione: (2024)

A Quantitative Evaluation of Approximate Softmax Functions for Deep Neural Networks
di: Leiva-Valverde, Anthony, et al.
Pubblicazione: (2025)

Sustainable Hardware Specialization
di: Dangi, Pranav, et al.
Pubblicazione: (2024)

Learnable Sparsification of Die-to-Die Communication via Spike-Based Encoding
di: Nardone, Joshua, et al.
Pubblicazione: (2025)

Aquas: Enhancing Domain Specialization through Holistic Hardware-Software Co-Optimization based on MLIR
di: Zou, Yuyang, et al.
Pubblicazione: (2025)

Taming the Exponential: A Fast Softmax Surrogate for Integer-Native Edge Inference
di: Danopoulos, Dimitrios, et al.
Pubblicazione: (2026)

HENNC: Hardware Engine for Artificial Neural Network-based Chaotic Oscillators
di: Vaziri, Mobin, et al.
Pubblicazione: (2024)

Benchmarking the Energy Cost of Assurance in Neuromorphic Edge Robotics
di: Kaczmarek, Sylvester
Pubblicazione: (2026)

FLASH-D: FlashAttention with Hidden Softmax Division
di: Alexandridis, Kosmas, et al.
Pubblicazione: (2025)

TrainDeeploy: Hardware-Accelerated Parameter-Efficient Fine-Tuning of Small Transformer Models at the Extreme Edge
di: Wang, Run, et al.
Pubblicazione: (2026)

VEXP: A Low-Cost RISC-V ISA Extension for Accelerated Softmax Computation in Transformers
di: Wang, Run, et al.
Pubblicazione: (2025)

Analyzing and Improving Hardware Modeling of Accel-Sim
di: Huerta, Rodrigo, et al.
Pubblicazione: (2024)

Hardware and software build flow with SoCMake
di: Pejašinović, Risto, et al.
Pubblicazione: (2025)

QED: Scalable Verification of Hardware Memory Consistency
di: Ravi, Gokulan, et al.
Pubblicazione: (2024)

NeuroVM: Dynamic Neuromorphic Hardware Virtualization
di: Isik, Murat, et al.
Pubblicazione: (2024)

In-Memory Computing Architecture for Efficient Hardware Security
di: Ajmi, Hala, et al.
Pubblicazione: (2024)

Hardware-Aware DNN Compression for Homogeneous Edge Devices
di: Zhang, Kunlong, et al.
Pubblicazione: (2025)

Look-Up Table based Neural Network Hardware
di: Sen, Ovishake, et al.
Pubblicazione: (2024)

Direct Integer Division in RNS and its Hardware Solutions
di: Olsen, Eric B.
Pubblicazione: (2026)

Bombyx: OpenCilk Compilation for FPGA Hardware Acceleration
di: Shahawy, Mohamed, et al.
Pubblicazione: (2025)

Closing the Gap Between Float and Posit Hardware Efficiency
di: Jonnalagadda, Aditya Anirudh, et al.
Pubblicazione: (2026)

A Power-Efficient Hardware Implementation of L-Mul
di: Chen, Ruiqi, et al.
Pubblicazione: (2024)

Hardware for converting floating-point to the microscaling (MX) format
di: Gorodecky, Danila, et al.
Pubblicazione: (2024)

An Efficient Sparse Hardware Accelerator for Spike-Driven Transformer
di: Li, Zhengke, et al.
Pubblicazione: (2025)