GridPE: Unifying Positional Encoding in Transformers with a Grid Cell-Inspired Framework
Fuente:
arXiv
Salvato in:
| Autori principali: | Li, Boyang, Wu, Yulin, Huang, Nuoxian, Zhang, Wenjia |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary
di: Morita, Takashi
Pubblicazione: (2024)
di: Morita, Takashi
Pubblicazione: (2024)
Are Grid Cells Hexagonal for Performance or by Convenience?
di: Mir, Taahaa, et al.
Pubblicazione: (2024)
di: Mir, Taahaa, et al.
Pubblicazione: (2024)
Toward Relative Positional Encoding in Spiking Transformers
di: Lv, Changze, et al.
Pubblicazione: (2025)
di: Lv, Changze, et al.
Pubblicazione: (2025)
A Review of Neuroscience-Inspired Machine Learning
di: Ororbia, Alexander, et al.
Pubblicazione: (2024)
di: Ororbia, Alexander, et al.
Pubblicazione: (2024)
Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation
di: Benjamin, Ari S., et al.
Pubblicazione: (2025)
di: Benjamin, Ari S., et al.
Pubblicazione: (2025)
Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding
di: Katende, Ronald
Pubblicazione: (2024)
di: Katende, Ronald
Pubblicazione: (2024)
RUMC: A Rule-based Classifier Inspired by Evolutionary Methods
di: Mokhtari, Melvin
Pubblicazione: (2024)
di: Mokhtari, Melvin
Pubblicazione: (2024)
D-Score: A Synapse-Inspired Approach for Filter Pruning
di: Park, Doyoung, et al.
Pubblicazione: (2023)
di: Park, Doyoung, et al.
Pubblicazione: (2023)
Power Flow Analysis Using Deep Neural Networks in Three-Phase Unbalanced Smart Distribution Grids
di: Tiwari, Deepak, et al.
Pubblicazione: (2024)
di: Tiwari, Deepak, et al.
Pubblicazione: (2024)
Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving
di: Ghoreishee, Aref, et al.
Pubblicazione: (2026)
di: Ghoreishee, Aref, et al.
Pubblicazione: (2026)
Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
di: Islam, Ashhadul, et al.
Pubblicazione: (2024)
di: Islam, Ashhadul, et al.
Pubblicazione: (2024)
Dataset Optimization for Chronic Disease Prediction with Bio-Inspired Feature Selection
di: Dyoub, Abeer, et al.
Pubblicazione: (2023)
di: Dyoub, Abeer, et al.
Pubblicazione: (2023)
A Review on Influx of Bio-Inspired Algorithms: Critique and Improvement Needs
di: Somvanshi, Shriyank, et al.
Pubblicazione: (2025)
di: Somvanshi, Shriyank, et al.
Pubblicazione: (2025)
On the Power of Convolution Augmented Transformer
di: Li, Mingchen, et al.
Pubblicazione: (2024)
di: Li, Mingchen, et al.
Pubblicazione: (2024)
CDRL: A Reinforcement Learning Framework Inspired by Cerebellar Circuits and Dendritic Computational Strategies
di: Zhang, Sibo, et al.
Pubblicazione: (2026)
di: Zhang, Sibo, et al.
Pubblicazione: (2026)
Credit Card Fraud Detection Using RoFormer Model With Relative Distance Rotating Encoding
di: Reyes, Kevin, et al.
Pubblicazione: (2025)
di: Reyes, Kevin, et al.
Pubblicazione: (2025)
Brain-Inspired Spike Echo State Network Dynamics for Aero-Engine Intelligent Fault Prediction
di: Liu, Mo-Ran, et al.
Pubblicazione: (2024)
di: Liu, Mo-Ran, et al.
Pubblicazione: (2024)
A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
di: Meng, Qingyan, et al.
Pubblicazione: (2025)
di: Meng, Qingyan, et al.
Pubblicazione: (2025)
Financial Decision Making using Reinforcement Learning with Dirichlet Priors and Quantum-Inspired Genetic Optimization
di: Nandy, Prasun, et al.
Pubblicazione: (2025)
di: Nandy, Prasun, et al.
Pubblicazione: (2025)
Indian Wedding System Optimization (IWSO): A Novel Socially Inspired Metaheuristic with Operational Design and Analysis
di: Saxena, Deepika, et al.
Pubblicazione: (2026)
di: Saxena, Deepika, et al.
Pubblicazione: (2026)
Spike Agreement Dependent Plasticity: A scalable Bio-Inspired learning paradigm for Spiking Neural Networks
di: Bej, Saptarshi, et al.
Pubblicazione: (2025)
di: Bej, Saptarshi, et al.
Pubblicazione: (2025)
GT-SNT: A Linear-Time Transformer for Large-Scale Graphs via Spiking Node Tokenization
di: Zhang, Huizhe, et al.
Pubblicazione: (2025)
di: Zhang, Huizhe, et al.
Pubblicazione: (2025)
Empirical Analysis of Nature-Inspired Algorithms for Autism Spectrum Disorder Detection Using 3D Video Dataset
di: Panchal, Aneesh, et al.
Pubblicazione: (2025)
di: Panchal, Aneesh, et al.
Pubblicazione: (2025)
Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids
di: Sepúlveda, Carlos S., et al.
Pubblicazione: (2026)
di: Sepúlveda, Carlos S., et al.
Pubblicazione: (2026)
Deep Intrinsic Surprise-Regularized Control (DISRC): A Biologically Inspired Mechanism for Efficient Deep Q-Learning in Sparse Environments
di: Kini, Yash, et al.
Pubblicazione: (2026)
di: Kini, Yash, et al.
Pubblicazione: (2026)
Evaluating Large Language Models with Grid-Based Game Competitions: An Extensible LLM Benchmark and Leaderboard
di: Topsakal, Oguzhan, et al.
Pubblicazione: (2024)
di: Topsakal, Oguzhan, et al.
Pubblicazione: (2024)
A Grid Cell-Inspired Structured Vector Algebra for Cognitive Maps
di: Krausse, Sven, et al.
Pubblicazione: (2025)
di: Krausse, Sven, et al.
Pubblicazione: (2025)
Looped Transformers are Better at Learning Learning Algorithms
di: Yang, Liu, et al.
Pubblicazione: (2023)
di: Yang, Liu, et al.
Pubblicazione: (2023)
Collapse-Free Prototype Readout Layer for Transformer Encoders
di: Cirrincione, Giansalvo, et al.
Pubblicazione: (2026)
di: Cirrincione, Giansalvo, et al.
Pubblicazione: (2026)
INCRT: An Incremental Transformer That Determines Its Own Architecture
di: Cirrincione, Giansalvo
Pubblicazione: (2026)
di: Cirrincione, Giansalvo
Pubblicazione: (2026)
Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
di: Lorenc, Matyáš, et al.
Pubblicazione: (2025)
di: Lorenc, Matyáš, et al.
Pubblicazione: (2025)
Training a General Spiking Neural Network with Improved Efficiency and Minimum Latency
di: Yao, Yunpeng, et al.
Pubblicazione: (2024)
di: Yao, Yunpeng, et al.
Pubblicazione: (2024)
Genetic Programming with Transformer-Based Mutation for Approximate Circuit Design
di: Galeta, Ondrej, et al.
Pubblicazione: (2026)
di: Galeta, Ondrej, et al.
Pubblicazione: (2026)
Interpretable Brain-Inspired Representations Improve RL Performance on Visual Navigation Tasks
di: Lange, Moritz, et al.
Pubblicazione: (2024)
di: Lange, Moritz, et al.
Pubblicazione: (2024)
Clustering in Dynamic Environments: A Framework for Benchmark Dataset Generation With Heterogeneous Changes
di: Yazdani, Danial, et al.
Pubblicazione: (2024)
di: Yazdani, Danial, et al.
Pubblicazione: (2024)
Utilizing Novelty-based Evolution Strategies to Train Transformers in Reinforcement Learning
di: Lorenc, Matyáš, et al.
Pubblicazione: (2025)
di: Lorenc, Matyáš, et al.
Pubblicazione: (2025)
Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
di: Anthes, Philipp, et al.
Pubblicazione: (2025)
di: Anthes, Philipp, et al.
Pubblicazione: (2025)
SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention
di: Sun, Yundong, et al.
Pubblicazione: (2024)
di: Sun, Yundong, et al.
Pubblicazione: (2024)
Transforming Datasets to Requested Complexity with Projection-based Many-Objective Genetic Algorithm
di: Komorniczak, Joanna
Pubblicazione: (2025)
di: Komorniczak, Joanna
Pubblicazione: (2025)
Hierarchical Kernel Transformer: Multi-Scale Attention with an Information-Theoretic Approximation Analysis
di: Cirrincione, Giansalvo
Pubblicazione: (2026)
di: Cirrincione, Giansalvo
Pubblicazione: (2026)
Documenti analoghi
-
Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary
di: Morita, Takashi
Pubblicazione: (2024) -
Are Grid Cells Hexagonal for Performance or by Convenience?
di: Mir, Taahaa, et al.
Pubblicazione: (2024) -
Toward Relative Positional Encoding in Spiking Transformers
di: Lv, Changze, et al.
Pubblicazione: (2025) -
A Review of Neuroscience-Inspired Machine Learning
di: Ororbia, Alexander, et al.
Pubblicazione: (2024) -
Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation
di: Benjamin, Ari S., et al.
Pubblicazione: (2025)