Buchumschlag

BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Sihang, Zhou, Chenlin, Wang, Jiaqi, Chen, Kehai, Meng, Qingyan, Ma, Zhengyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Neural and Evolutionary Computing Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Adaptive Spiking Neurons for Vision and Language Modeling
von: Zhou, Chenlin, et al.
Veröffentlicht: (2026)

Winner-Take-All Spiking Transformer for Language Modeling
von: Zhou, Chenlin, et al.
Veröffentlicht: (2026)

Spikingformer: A Key Foundation Model for Spiking Neural Networks
von: Zhou, Chenlin, et al.
Veröffentlicht: (2023)

Temporal-adaptive Weight Quantization for Spiking Neural Networks
von: Zhang, Han, et al.
Veröffentlicht: (2025)

A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
von: Meng, Qingyan, et al.
Veröffentlicht: (2025)

Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch
von: Che, Kaiwei, et al.
Veröffentlicht: (2024)

Multiplication-Free Parallelizable Spiking Neurons with Efficient Spatio-Temporal Dynamics
von: Xue, Peng, et al.
Veröffentlicht: (2025)

SpikingBERT: Distilling BERT to Train Spiking Language Models Using Implicit Differentiation
von: Bal, Malyaban, et al.
Veröffentlicht: (2023)

Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods
von: Zhou, Chenlin, et al.
Veröffentlicht: (2024)

SpikePool: Event-driven Spiking Transformer with Pooling Attention
von: Lee, Donghyun, et al.
Veröffentlicht: (2025)

QKFormer: Hierarchical Spiking Transformer using Q-K Attention
von: Zhou, Chenlin, et al.
Veröffentlicht: (2024)

E2ATST: A Temporal-Spatial Optimized Energy-Efficient Architecture for Training Spiking Transformer
von: Ma, Yunhao, et al.
Veröffentlicht: (2025)

Spiking Transformer with Spatial-Temporal Attention
von: Lee, Donghyun, et al.
Veröffentlicht: (2024)

SpikeAtConv: An Integrated Spiking-Convolutional Attention Architecture for Energy-Efficient Neuromorphic Vision Processing
von: Liao, Wangdan, et al.
Veröffentlicht: (2024)

SpikeLM: Towards General Spike-Driven Language Modeling via Elastic Bi-Spiking Mechanisms
von: Xing, Xingrun, et al.
Veröffentlicht: (2024)

To Spike or Not to Spike, that is the Question
von: Takaghaj, Sanaz Mahmoodi, et al.
Veröffentlicht: (2024)

Stochastic Spiking Neural Networks with First-to-Spike Coding
von: Jiang, Yi, et al.
Veröffentlicht: (2024)

Scalable Dendritic Modeling Advances Expressive and Robust Deep Spiking Neural Networks
von: Huang, Yifan, et al.
Veröffentlicht: (2024)

Parallel Spiking Unit for Efficient Training of Spiking Neural Networks
von: Li, Yang, et al.
Veröffentlicht: (2024)

SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
von: Sun, Yundong, et al.
Veröffentlicht: (2024)

Biologically Plausible Learning via Bidirectional Spike-Based Distillation
von: Lv, Changze, et al.
Veröffentlicht: (2025)

Spiking Wavelet Transformer
von: Fang, Yuetong, et al.
Veröffentlicht: (2024)

Wafer2Spike: Spiking Neural Network for Wafer Map Pattern Classification
von: Mishra, Abhishek, et al.
Veröffentlicht: (2024)

Neural Dynamics Self-Attention for Spiking Transformers
von: Zhang, Dehao, et al.
Veröffentlicht: (2026)

Learning with Spike Synchrony in Spiking Neural Networks
von: Tian, Yuchen, et al.
Veröffentlicht: (2025)

Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks
von: Xiao, Mingqing, et al.
Veröffentlicht: (2024)

Exploring Extreme Quantization in Spiking Language Models
von: Bal, Malyaban, et al.
Veröffentlicht: (2024)

Efficient Training of Spiking Neural Networks by Spike-aware Data Pruning
von: Ma, Chenxiang, et al.
Veröffentlicht: (2025)

Hybrid Temporal-8-Bit Spike Coding for Spiking Neural Network Surrogate Training
von: Nhan, Luu Trong, et al.
Veröffentlicht: (2025)

$SpikePack$: Enhanced Information Flow in Spiking Neural Networks with High Hardware Compatibility
von: Shen, Guobin, et al.
Veröffentlicht: (2025)

Free-Space Optical Spiking Neural Network
von: Ahmadi, Reyhane, et al.
Veröffentlicht: (2023)

Expressivity of Spiking Neural Networks
von: Singh, Manjot, et al.
Veröffentlicht: (2023)

Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
von: Xiao, Mingqing, et al.
Veröffentlicht: (2024)

Quantization Meets Spikes: Lossless Conversion in the First Timestep via Polarity Multi-Spike Mapping
von: Zhang, Hangming, et al.
Veröffentlicht: (2025)

BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation
von: Xu, Zekai, et al.
Veröffentlicht: (2024)

Spatial-Temporal Search for Spiking Neural Networks
von: Che, Kaiwei, et al.
Veröffentlicht: (2024)

MD-SNN: Membrane Potential-aware Distillation on Quantized Spiking Neural Network
von: Lee, Donghyun, et al.
Veröffentlicht: (2025)

Evolutionary Spiking Neural Networks: A Survey
von: Shen, Shuaijie, et al.
Veröffentlicht: (2024)

P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks
von: Bal, Malyaban, et al.
Veröffentlicht: (2024)

Spike Accumulation Forwarding for Effective Training of Spiking Neural Networks
von: Saiin, Ryuji, et al.
Veröffentlicht: (2023)