Buchumschlag

Beyond 2:4: exploring V:N:M sparsity for efficient transformer inference on GPUs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Kang, Yuan, Tao, Bao, Han, Su, Zhenfeng, Gao, Chang, Sun, Zhaofeng, Liang, Zichen, Jing, Liping, Chen, Jianfei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
von: Gao, Chang, et al.
Veröffentlicht: (2024)

Maximum Redundancy Pruning: A Principle-Driven Layerwise Sparsity Allocation for LLMs
von: Gao, Chang, et al.
Veröffentlicht: (2025)

Bayesian inference of sparsity in stable vector autoregressive processes
von: Heaps, Sarah E., et al.
Veröffentlicht: (2026)

GSplatVNM: Point-of-View Synthesis for Visual Navigation Models Using Gaussian Splatting
von: Honda, Kohei, et al.
Veröffentlicht: (2025)

A Light Lepton-flavor-violating Flavon: the Messenger of Neutrino Mixing and Muon $g-2$
von: Han, Shuyang, et al.
Veröffentlicht: (2025)

The $\ell$-test: leveraging sparsity in the Gaussian linear model for improved inference
von: Sengupta, Souhardya, et al.
Veröffentlicht: (2024)

SaberLDA: Sparsity-Aware Learning of Topic Models on GPUs
von: Li, Kaiwei, et al.
Veröffentlicht: (2016)

A new sparsity promoting residual transform operator for Lasso regression
von: Xiao, Yao, et al.
Veröffentlicht: (2025)

Massive Gauge Theory with Quasigluon for Hot $SU(N)$: Phase Transition and Thermodynamics
von: Zhu, Jiang, et al.
Veröffentlicht: (2022)

Testing noisy low-degree polynomials for sparsity
von: Bao, Yiqiao, et al.
Veröffentlicht: (2025)

Interplay between Vector-like Lepton and Seesaw Mechanism:Oblique Corrections
von: Han, Shuyang, et al.
Veröffentlicht: (2024)

Adaptive Dueling Double Deep Q-networks in Uniswap V3 Replication and Extension with Mamba
von: Zhang, Zhaofeng
Veröffentlicht: (2025)

Learning the hub graphical Lasso model with the structured sparsity via an efficient algorithm
von: Wang, Chengjing, et al.
Veröffentlicht: (2023)

Gamma-ray Signal from $Z_{N\geq 3}$ Dark Matter-Companion Models
von: Guo, Jun, et al.
Veröffentlicht: (2024)

Support matrix machine: exploring sample sparsity, low rank, and adaptive sieving in high-performance computing
von: Wu, Can, et al.
Veröffentlicht: (2024)

InvDesFlow: An AI-driven materials inverse design workflow to explore possible high-temperature superconductors
von: Han, Xiao-Qi, et al.
Veröffentlicht: (2024)

Dark Chiral Phase Transition Driven by Chemical Potential and its Gravitational Wave Test
von: Kang, Zhaofeng, et al.
Veröffentlicht: (2025)

Confinement Bubble Wall Velocity via Quasiparticle Determination
von: Kang, Zhaofeng, et al.
Veröffentlicht: (2024)

Identifying Sensitive Weights via Post-quantization Integral
von: Hu, Yuezhou, et al.
Veröffentlicht: (2025)

Optimal local filtering operation for enhancing quantum entanglement
von: Su, Zhaofeng, et al.
Veröffentlicht: (2024)

SDP for One-shot Dilution of Quantum Coherence
von: Zhu, Yikang, et al.
Veröffentlicht: (2024)

Inference for relative sparsity
von: Weisenthal, Samuel J., et al.
Veröffentlicht: (2023)

On the sparsity of binary numbers
von: Zhu, Meijun
Veröffentlicht: (2024)

An efficient implementation of parallel simulated annealing algorithm in GPUs
von: Ferreiro, A. M., et al.
Veröffentlicht: (2024)

Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs
von: Li, Luchang, et al.
Veröffentlicht: (2024)

An analysis of capital market through the lens of integral transforms: exploring efficient markets and information asymmetry
von: Sharma, Kiran, et al.
Veröffentlicht: (2025)

Exact quantization of topological order parameter in SU($N$) spin models, $N$-ality transformation and ingappabilities
von: Su, Hang, et al.
Veröffentlicht: (2024)

Mitigating Barren Plateaus in Quantum Denoising Diffusion Probabilistic Model
von: Cao, Haipeng, et al.
Veröffentlicht: (2025)

Generalized sparsity-promoting solvers for Bayesian inverse problems: Versatile sparsifying transforms and unknown noise variances
von: Lindbloom, Jonathan, et al.
Veröffentlicht: (2024)

Unguided Self-exploration in Narrow Spaces with Safety Region Enhanced Reinforcement Learning for Ackermann-steering Robots
von: Tian, Zhaofeng, et al.
Veröffentlicht: (2022)

Investigate the efficiency of incompressible flow simulations on CPUs and GPUs with BSAMR
von: Liu, Dewen, et al.
Veröffentlicht: (2024)

Weighting operators for sparsity regularization
von: Elvetun, Ole Løseth, et al.
Veröffentlicht: (2025)

Matter Asymmetries in the $Z_N$ Dark matter -companion Models
von: Chen, Shao-Long, et al.
Veröffentlicht: (2024)

Synthesis of Nitriles from Dinitrogen via N‐Atom Transfer on Rhenium Nitride Complex
von: Chunxiao Shan, et al.
Veröffentlicht: (2025)

Filter-assisted quantum subspace diagonalization via wavefunction sparsity engineering
von: Xu, Han, et al.
Veröffentlicht: (2026)

A genotype‐independent and highly efficient Agrobacterium ‐mediated soybean genetic transformation system
von: Fengxue Jing, et al.
Veröffentlicht: (2025)

Quantformer: from attention to profit with a quantitative transformer trading strategy
von: Zhang, Zhaofeng, et al.
Veröffentlicht: (2024)

Dumbo-NG: Fast Asynchronous BFT Consensus with Throughput-Oblivious Latency
von: Gao, Yingzi, et al.
Veröffentlicht: (2022)

Rapid Hydrolysis Precipitation of BiOBr Nanosheets for Boosting Photocatalytic N 2 Fixation
von: Liang Bao, et al.
Veröffentlicht: (2024)

LiveLattice: Real‐time visualisation of tilted light‐sheet microscopy data using a memory‐efficient transformation algorithm
von: Zichen Wang, et al.
Veröffentlicht: (2024)