Buchumschlag

Enhancing Audio-Visual Spiking Neural Networks through Semantic-Alignment and Cross-Modal Residual Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Xiang, Zhao, Dongcheng, Dong, Yiting, Shen, Guobin, Yang, Xin, Zeng, Yi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking Neural Networks
von: Shen, Guobin, et al.
Veröffentlicht: (2023)

Time Cell Inspired Temporal Codebook in Spiking Neural Networks for Enhanced Image Generation
von: Feng, Linghao, et al.
Veröffentlicht: (2024)

Alignment between Brains and AI: Evidence for Convergent Evolution across Modalities, Scales and Training Trajectories
von: Shen, Guobin, et al.
Veröffentlicht: (2025)

Parallel Spiking Unit for Efficient Training of Spiking Neural Networks
von: Li, Yang, et al.
Veröffentlicht: (2024)

$SpikePack$: Enhanced Information Flow in Spiking Neural Networks with High Hardware Compatibility
von: Shen, Guobin, et al.
Veröffentlicht: (2025)

An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain
von: He, Xiang, et al.
Veröffentlicht: (2023)

EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision
von: Dong, Yiting, et al.
Veröffentlicht: (2024)

Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models
von: Dong, Yiting, et al.
Veröffentlicht: (2024)

Jailbreak Antidote: Runtime Safety-Utility Balance via Sparse Representation Adjustment in Large Language Models
von: Shen, Guobin, et al.
Veröffentlicht: (2024)

TIM: An Efficient Temporal Interaction Module for Spiking Transformer
von: Shen, Sicheng, et al.
Veröffentlicht: (2024)

Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction
von: Shen, Guobin, et al.
Veröffentlicht: (2024)

StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
von: Shen, Guobin, et al.
Veröffentlicht: (2024)

CACE-Net: Co-guidance Attention and Contrastive Enhancement for Effective Audio-Visual Event Localization
von: He, Xiang, et al.
Veröffentlicht: (2024)

FireFly-P: FPGA-Accelerated Spiking Neural Network Plasticity for Robust Adaptive Control
von: Li, Tenglong, et al.
Veröffentlicht: (2026)

Brain-Inspired Stepwise Patch Merging for Vision Transformers
von: Yu, Yonghao, et al.
Veröffentlicht: (2024)

FireFly-S: Exploiting Dual-Side Sparsity for Spiking Neural Networks Acceleration with Reconfigurable Spatial Architecture
von: Li, Tenglong, et al.
Veröffentlicht: (2024)

Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient
von: Li, Yang, et al.
Veröffentlicht: (2024)

Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks
von: Han, Bing, et al.
Veröffentlicht: (2022)

TEFormer: Structured Bidirectional Temporal Enhancement Modeling in Spiking Transformers
von: Shen, Sicheng, et al.
Veröffentlicht: (2026)

C-VARC: A Large-Scale Chinese Value Rule Corpus for Value Alignment of Large Language Models
von: Wu, Ping, et al.
Veröffentlicht: (2025)

Residual Cross-Modal Fusion Networks for Audio-Visual Navigation
von: Wang, Yi, et al.
Veröffentlicht: (2026)

FireFly-T: High-Throughput Sparsity Exploitation for Spiking Transformer Acceleration with Dual-Engine Overlay Architecture
von: Li, Tenglong, et al.
Veröffentlicht: (2025)

Bidirectional Intention Inference Enhances LLMs' Defense Against Multi-Turn Jailbreak Attacks
von: Tong, Haibo, et al.
Veröffentlicht: (2025)

Towards Reliable Evaluation of Adversarial Robustness for Spiking Neural Networks
von: Wang, Jihang, et al.
Veröffentlicht: (2025)

Efficient LLM Safety Evaluation through Multi-Agent Debate
von: Lin, Dachuan, et al.
Veröffentlicht: (2025)

STEP: A Unified Spiking Transformer Evaluation Platform for Fair and Reproducible Benchmarking
von: Shen, Sicheng, et al.
Veröffentlicht: (2025)

PandaGuard: Systematic Evaluation of LLM Safety against Jailbreaking Attacks
von: Shen, Guobin, et al.
Veröffentlicht: (2025)

Biologically Inspired Spiking Diffusion Model with Adaptive Lateral Selection Mechanism
von: Feng, Linghao, et al.
Veröffentlicht: (2025)

Safety Instincts: LLMs Learn to Trust Their Internal Compass for Self-Defense
von: Shen, Guobin, et al.
Veröffentlicht: (2025)

Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
von: Sudarsanam, Parthasaarathy, et al.
Veröffentlicht: (2025)

Light Alignment Improves LLM Safety via Model Self-Reflection with a Single Neuron
von: Shen, Sicheng, et al.
Veröffentlicht: (2026)

AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
von: Liu, Zehua, et al.
Veröffentlicht: (2024)

Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference
von: Li, Yang, et al.
Veröffentlicht: (2024)

Revealing Untapped DSP Optimization Potentials for FPGA-Based Systolic Matrix Engines
von: Li, Jindong, et al.
Veröffentlicht: (2024)

Pushing up to the Limit of Memory Bandwidth and Capacity Utilization for Efficient LLM Decoding on Embedded FPGA
von: Li, Jindong, et al.
Veröffentlicht: (2025)

Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
von: Chen, Yaru, et al.
Veröffentlicht: (2025)

Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation
von: Dong, Yiting, et al.
Veröffentlicht: (2025)

PredNext: Explicit Cross-View Temporal Prediction for Unsupervised Learning in Spiking Neural Networks
von: Dong, Yiting, et al.
Veröffentlicht: (2025)

Incorporating brain-inspired mechanisms for multimodal learning in artificial intelligence
von: He, Xiang, et al.
Veröffentlicht: (2025)

Cross-Modal Alignment between Visual Stimuli and Neural Responses in the Visual Cortex
von: Gao, Xing, et al.
Veröffentlicht: (2025)