Buchumschlag

Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mukherji, Rishav, Schöne, Mark, Nazeer, Khaleelulla Khan, Mayr, Christian, Kappel, David, Subramoney, Anand
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Neural and Evolutionary Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Language Modeling on a SpiNNaker 2 Neuromorphic Chip
von: Nazeer, Khaleelulla Khan, et al.
Veröffentlicht: (2023)

Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
von: Mukherji, Rishav, et al.
Veröffentlicht: (2023)

STREAM: A Universal State-Space Model for Sparse Geometric Data
von: Schöne, Mark, et al.
Veröffentlicht: (2024)

Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models
von: Schöne, Mark, et al.
Veröffentlicht: (2024)

Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates
von: Fokam, Cabrel Teguemne, et al.
Veröffentlicht: (2024)

State-space models can learn in-context by gradient descent
von: Sushma, Neeraj Mohan, et al.
Veröffentlicht: (2024)

Explore Activation Sparsity in Recurrent LLMs for Energy-Efficient Neuromorphic Computing
von: Knunyants, Ivan, et al.
Veröffentlicht: (2025)

SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning
von: Gonzalez, Hector A., et al.
Veröffentlicht: (2024)

Sparsity Moves Computation: How FFN Architecture Reshapes Attention in Small Transformers
von: Smithline, Gabriel, et al.
Veröffentlicht: (2026)

CLASSP: a Biologically-Inspired Approach to Continual Learning through Adjustment Suppression and Sparsity Promotion
von: Ludwig, Oswaldo
Veröffentlicht: (2024)

Sup3r: A Semi-Supervised Algorithm for increasing Sparsity, Stability, and Separability in Hierarchy Of Time-Surfaces architectures
von: Rasetto, Marco, et al.
Veröffentlicht: (2024)

All in one timestep: Enhancing Sparsity and Energy efficiency in Multi-level Spiking Neural Networks
von: Castagnetti, Andrea, et al.
Veröffentlicht: (2025)

Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2
von: Abreu, Steven, et al.
Veröffentlicht: (2025)

Neuromorphic dreaming: A pathway to efficient learning in artificial agents
von: Blakowski, Ingo, et al.
Veröffentlicht: (2024)

Continual Learning with Neuromorphic Computing: Foundations, Methods, and Emerging Applications
von: Minhas, Mishal Fatima, et al.
Veröffentlicht: (2024)

Modality-Dependent Memory Mechanisms in Cross-Modal Neuromorphic Computing
von: Blessing, Effiong, et al.
Veröffentlicht: (2025)

CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras
von: Hajizada, Elvin, et al.
Veröffentlicht: (2026)

Neuromorphic Continual Learning for Sequential Deployment of Nuclear Plant Monitoring Systems
von: Roy, Samrendra, et al.
Veröffentlicht: (2026)

Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks
von: Xiao, Mingqing, et al.
Veröffentlicht: (2024)

Understanding Transformer-based Vision Models through Inversion
von: Rathjens, Jan, et al.
Veröffentlicht: (2024)

Can We Optimize Deep RL Policy Weights as Trajectory Modeling?
von: Tang, Hongyao
Veröffentlicht: (2025)

Pruning as Evolution: Emergent Sparsity Through Selection Dynamics in Neural Networks
von: Shah, Zubair, et al.
Veröffentlicht: (2026)

Replay4NCL: An Efficient Memory Replay-based Methodology for Neuromorphic Continual Learning in Embedded AI Systems
von: Minhas, Mishal Fatima, et al.
Veröffentlicht: (2025)

Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity
von: Pierro, Alessandro, et al.
Veröffentlicht: (2025)

An Integrated Toolbox for Creating Neuromorphic Edge Applications
von: Niedermeier, Lars, et al.
Veröffentlicht: (2024)

Embodied Neuromorphic Artificial Intelligence for Robotics: Perspectives, Challenges, and Research Development Stack
von: Putra, Rachmad Vidya Wicaksana, et al.
Veröffentlicht: (2024)

Set-based Neural Network Encoding Without Weight Tying
von: Andreis, Bruno, et al.
Veröffentlicht: (2023)

Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
von: Verma, Lucky
Veröffentlicht: (2026)

Noise-Aware Training of Neuromorphic Dynamic Device Networks
von: Manneschi, Luca, et al.
Veröffentlicht: (2024)

NeuroMorse: A Temporally Structured Dataset For Neuromorphic Computing
von: Walters, Ben, et al.
Veröffentlicht: (2025)

A Multi-Threading Kernel for Enabling Neuromorphic Edge Applications
von: Niedermeier, Lars, et al.
Veröffentlicht: (2025)

Emulating Brain-like Rapid Learning in Neuromorphic Edge Computing
von: Stewart, Kenneth, et al.
Veröffentlicht: (2024)

Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning
von: Kim, Taebong, et al.
Veröffentlicht: (2026)

Evolved Sample Weights for Bias Mitigation: Effectiveness Depends on the Fairness Objective
von: Saini, Anil K., et al.
Veröffentlicht: (2025)

On the Sampling Sparsity of Neuromorphic Analog-to-Spike Conversion based on Leaky Integrate-and-Fire
von: Moser, Bernhard A., et al.
Veröffentlicht: (2024)

Large Language Models As Evolution Strategies
von: Lange, Robert Tjarko, et al.
Veröffentlicht: (2024)

Accuracy-Robustness Trade Off via Spiking Neural Network Gradient Sparsity Trail
von: Nhan, Luu Trong, et al.
Veröffentlicht: (2025)

Neuromorphic Cybersecurity with Semi-supervised Lifelong Learning
von: Mia, Md Zesun Ahmed, et al.
Veröffentlicht: (2025)

Recursive Dynamics in Fast-Weights Homeostatic Reentry Networks: Toward Reflective Intelligence
von: Chae, B. G.
Veröffentlicht: (2025)

Do Language Models Use Their Depth Efficiently?
von: Csordás, Róbert, et al.
Veröffentlicht: (2025)