Buchumschlag

GridPE: Unifying Positional Encoding in Transformers with a Grid Cell-Inspired Framework

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Boyang, Wu, Yulin, Huang, Nuoxian, Zhang, Wenjia
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Neural and Evolutionary Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary
von: Morita, Takashi
Veröffentlicht: (2024)

Are Grid Cells Hexagonal for Performance or by Convenience?
von: Mir, Taahaa, et al.
Veröffentlicht: (2024)

Toward Relative Positional Encoding in Spiking Transformers
von: Lv, Changze, et al.
Veröffentlicht: (2025)

A Review of Neuroscience-Inspired Machine Learning
von: Ororbia, Alexander, et al.
Veröffentlicht: (2024)

Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation
von: Benjamin, Ari S., et al.
Veröffentlicht: (2025)

Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding
von: Katende, Ronald
Veröffentlicht: (2024)

RUMC: A Rule-based Classifier Inspired by Evolutionary Methods
von: Mokhtari, Melvin
Veröffentlicht: (2024)

D-Score: A Synapse-Inspired Approach for Filter Pruning
von: Park, Doyoung, et al.
Veröffentlicht: (2023)

Power Flow Analysis Using Deep Neural Networks in Three-Phase Unbalanced Smart Distribution Grids
von: Tiwari, Deepak, et al.
Veröffentlicht: (2024)

Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving
von: Ghoreishee, Aref, et al.
Veröffentlicht: (2026)

Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
von: Islam, Ashhadul, et al.
Veröffentlicht: (2024)

Dataset Optimization for Chronic Disease Prediction with Bio-Inspired Feature Selection
von: Dyoub, Abeer, et al.
Veröffentlicht: (2023)

A Review on Influx of Bio-Inspired Algorithms: Critique and Improvement Needs
von: Somvanshi, Shriyank, et al.
Veröffentlicht: (2025)

On the Power of Convolution Augmented Transformer
von: Li, Mingchen, et al.
Veröffentlicht: (2024)

CDRL: A Reinforcement Learning Framework Inspired by Cerebellar Circuits and Dendritic Computational Strategies
von: Zhang, Sibo, et al.
Veröffentlicht: (2026)

Credit Card Fraud Detection Using RoFormer Model With Relative Distance Rotating Encoding
von: Reyes, Kevin, et al.
Veröffentlicht: (2025)

Brain-Inspired Spike Echo State Network Dynamics for Aero-Engine Intelligent Fault Prediction
von: Liu, Mo-Ran, et al.
Veröffentlicht: (2024)

A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
von: Meng, Qingyan, et al.
Veröffentlicht: (2025)

Financial Decision Making using Reinforcement Learning with Dirichlet Priors and Quantum-Inspired Genetic Optimization
von: Nandy, Prasun, et al.
Veröffentlicht: (2025)

Indian Wedding System Optimization (IWSO): A Novel Socially Inspired Metaheuristic with Operational Design and Analysis
von: Saxena, Deepika, et al.
Veröffentlicht: (2026)

Spike Agreement Dependent Plasticity: A scalable Bio-Inspired learning paradigm for Spiking Neural Networks
von: Bej, Saptarshi, et al.
Veröffentlicht: (2025)

GT-SNT: A Linear-Time Transformer for Large-Scale Graphs via Spiking Node Tokenization
von: Zhang, Huizhe, et al.
Veröffentlicht: (2025)

Empirical Analysis of Nature-Inspired Algorithms for Autism Spectrum Disorder Detection Using 3D Video Dataset
von: Panchal, Aneesh, et al.
Veröffentlicht: (2025)

Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids
von: Sepúlveda, Carlos S., et al.
Veröffentlicht: (2026)

Deep Intrinsic Surprise-Regularized Control (DISRC): A Biologically Inspired Mechanism for Efficient Deep Q-Learning in Sparse Environments
von: Kini, Yash, et al.
Veröffentlicht: (2026)

Evaluating Large Language Models with Grid-Based Game Competitions: An Extensible LLM Benchmark and Leaderboard
von: Topsakal, Oguzhan, et al.
Veröffentlicht: (2024)

A Grid Cell-Inspired Structured Vector Algebra for Cognitive Maps
von: Krausse, Sven, et al.
Veröffentlicht: (2025)

Looped Transformers are Better at Learning Learning Algorithms
von: Yang, Liu, et al.
Veröffentlicht: (2023)

Collapse-Free Prototype Readout Layer for Transformer Encoders
von: Cirrincione, Giansalvo, et al.
Veröffentlicht: (2026)

INCRT: An Incremental Transformer That Determines Its Own Architecture
von: Cirrincione, Giansalvo
Veröffentlicht: (2026)

Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
von: Lorenc, Matyáš, et al.
Veröffentlicht: (2025)

Training a General Spiking Neural Network with Improved Efficiency and Minimum Latency
von: Yao, Yunpeng, et al.
Veröffentlicht: (2024)

Genetic Programming with Transformer-Based Mutation for Approximate Circuit Design
von: Galeta, Ondrej, et al.
Veröffentlicht: (2026)

Interpretable Brain-Inspired Representations Improve RL Performance on Visual Navigation Tasks
von: Lange, Moritz, et al.
Veröffentlicht: (2024)

Clustering in Dynamic Environments: A Framework for Benchmark Dataset Generation With Heterogeneous Changes
von: Yazdani, Danial, et al.
Veröffentlicht: (2024)

Utilizing Novelty-based Evolution Strategies to Train Transformers in Reinforcement Learning
von: Lorenc, Matyáš, et al.
Veröffentlicht: (2025)

Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
von: Anthes, Philipp, et al.
Veröffentlicht: (2025)

SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
von: Sun, Yundong, et al.
Veröffentlicht: (2024)

Transforming Datasets to Requested Complexity with Projection-based Many-Objective Genetic Algorithm
von: Komorniczak, Joanna
Veröffentlicht: (2025)

Hierarchical Kernel Transformer: Multi-Scale Attention with an Information-Theoretic Approximation Analysis
von: Cirrincione, Giansalvo
Veröffentlicht: (2026)