Buchumschlag

QKFormer: Hierarchical Spiking Transformer using Q-K Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Chenlin, Zhang, Han, Zhou, Zhaokun, Yu, Liutao, Huang, Liwei, Fan, Xiaopeng, Yuan, Li, Ma, Zhengyu, Zhou, Huihui, Tian, Yonghong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Neural and Evolutionary Computing Artificial Intelligence Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods
von: Zhou, Chenlin, et al.
Veröffentlicht: (2024)

Spikingformer: A Key Foundation Model for Spiking Neural Networks
von: Zhou, Chenlin, et al.
Veröffentlicht: (2023)

Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli
von: Huang, Liwei, et al.
Veröffentlicht: (2023)

Multiplication-Free Parallelizable Spiking Neurons with Efficient Spatio-Temporal Dynamics
von: Xue, Peng, et al.
Veröffentlicht: (2025)

Winner-Take-All Spiking Transformer for Language Modeling
von: Zhou, Chenlin, et al.
Veröffentlicht: (2026)

Time-Evolving Dynamical System for Learning Latent Representations of Mouse Visual Neural Activity
von: Huang, Liwei, et al.
Veröffentlicht: (2024)

Adaptive Spiking Neurons for Vision and Language Modeling
von: Zhou, Chenlin, et al.
Veröffentlicht: (2026)

Spatial-Temporal Search for Spiking Neural Networks
von: Che, Kaiwei, et al.
Veröffentlicht: (2024)

A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
von: Meng, Qingyan, et al.
Veröffentlicht: (2025)

Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies
von: Fang, Wei, et al.
Veröffentlicht: (2023)

BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
von: Guo, Sihang, et al.
Veröffentlicht: (2026)

Core Placement Optimization of Many-core Brain-Inspired Near-Storage Systems for Spiking Neural Network Training
von: Zhu, Xueke, et al.
Veröffentlicht: (2024)

Scalable Dendritic Modeling Advances Expressive and Robust Deep Spiking Neural Networks
von: Huang, Yifan, et al.
Veröffentlicht: (2024)

Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch
von: Che, Kaiwei, et al.
Veröffentlicht: (2024)

Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips
von: Yao, Man, et al.
Veröffentlicht: (2024)

E2ATST: A Temporal-Spatial Optimized Energy-Efficient Architecture for Training Spiking Transformer
von: Ma, Yunhao, et al.
Veröffentlicht: (2025)

SpikePool: Event-driven Spiking Transformer with Pooling Attention
von: Lee, Donghyun, et al.
Veröffentlicht: (2025)

Spiking Transformer with Spatial-Temporal Attention
von: Lee, Donghyun, et al.
Veröffentlicht: (2024)

Deep Reinforcement Learning with Spiking Q-learning
von: Chen, Ding, et al.
Veröffentlicht: (2022)

Temporal-adaptive Weight Quantization for Spiking Neural Networks
von: Zhang, Han, et al.
Veröffentlicht: (2025)

CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
von: Huang, Yulong, et al.
Veröffentlicht: (2024)

SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
von: Sun, Yundong, et al.
Veröffentlicht: (2024)

Noisy Spiking Actor Network for Exploration
von: Chen, Ding, et al.
Veröffentlicht: (2024)

SVFormer: A Direct Training Spiking Transformer for Efficient Video Action Recognition
von: Yu, Liutao, et al.
Veröffentlicht: (2024)

PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks
von: Huang, Yulong, et al.
Veröffentlicht: (2024)

Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket
von: Zhou, Zhaokun, et al.
Veröffentlicht: (2024)

Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks
von: Zhang, Hangming, et al.
Veröffentlicht: (2024)

Toward Relative Positional Encoding in Spiking Transformers
von: Lv, Changze, et al.
Veröffentlicht: (2025)

Spiking Wavelet Transformer
von: Fang, Yuetong, et al.
Veröffentlicht: (2024)

Optimal ANN-SNN Conversion with Group Neurons
von: Lv, Liuzhenghao, et al.
Veröffentlicht: (2024)

Neural Dynamics Self-Attention for Spiking Transformers
von: Zhang, Dehao, et al.
Veröffentlicht: (2026)

Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving
von: Ghoreishee, Aref, et al.
Veröffentlicht: (2026)

TEFormer: Structured Bidirectional Temporal Enhancement Modeling in Spiking Transformers
von: Shen, Sicheng, et al.
Veröffentlicht: (2026)

SpikeAtConv: An Integrated Spiking-Convolutional Attention Architecture for Energy-Efficient Neuromorphic Vision Processing
von: Liao, Wangdan, et al.
Veröffentlicht: (2024)

High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost
von: Hu, JiaKui, et al.
Veröffentlicht: (2024)

RTFormer: Re-parameter TSBN Spiking Transformer
von: Wang, Hongzhi, et al.
Veröffentlicht: (2024)

Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks
von: Qiu, Xuerui, et al.
Veröffentlicht: (2023)

Unveiling the Spatial-temporal Effective Receptive Fields of Spiking Neural Networks
von: Zhang, Jieyuan, et al.
Veröffentlicht: (2025)

SSTFormer: Bridging Spiking Neural Network and Memory Support Transformer for Frame-Event based Recognition
von: Wang, Xiao, et al.
Veröffentlicht: (2023)

Enhancing Adaptive History Reserving by Spiking Convolutional Block Attention Module in Recurrent Neural Networks
von: Xu, Qi, et al.
Veröffentlicht: (2024)