Buchumschlag

Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Choromanski, Krzysztof Marcin, Li, Shanda, Likhosherstov, Valerii, Dubey, Kumar Avinava, Luo, Shengjie, He, Di, Yang, Yiming, Sarlos, Tamas, Weingarten, Thomas, Weller, Adrian
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Scalable Neural Network Kernels
von: Sehanobish, Arijit, et al.
Veröffentlicht: (2023)

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
von: Kim, Byeongchan, et al.
Veröffentlicht: (2026)

Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers
von: Choromanski, Krzysztof, et al.
Veröffentlicht: (2024)

Optimal Time Complexity Algorithms for Computing General Random Walk Graph Kernels on Sparse Graphs
von: Choromanski, Krzysztof, et al.
Veröffentlicht: (2024)

Computationally-efficient Graph Modeling with Refined Graph Random Features
von: Choromanski, Krzysztof, et al.
Veröffentlicht: (2025)

Linear Transformer Topological Masking with Graph Random Features
von: Reid, Isaac, et al.
Veröffentlicht: (2024)

SWING: Unlocking Implicit Graph Representations for Graph Random Features
von: Manenti, Alessandro, et al.
Veröffentlicht: (2026)

Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning
von: Chowdhury, Somnath Basu Roy, et al.
Veröffentlicht: (2024)

Rotary Position Encodings for Graphs
von: Reid, Isaac, et al.
Veröffentlicht: (2025)

Functional Interpolation for Relative Positions Improves Long Context Transformers
von: Li, Shanda, et al.
Veröffentlicht: (2023)

Karyotype AI for Precision Oncology
von: Shamsi, Zahra, et al.
Veröffentlicht: (2022)

General Graph Random Features
von: Reid, Isaac, et al.
Veröffentlicht: (2023)

Repelling Random Walks
von: Reid, Isaac, et al.
Veröffentlicht: (2023)

Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning
von: Sehanobish, Arijit, et al.
Veröffentlicht: (2024)

Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
von: Li, Shanda, et al.
Veröffentlicht: (2025)

Structured adaptive and random spinners for fast machine learning computations
von: Bojarski, Mariusz, et al.
Veröffentlicht: (2016)

Embodied AI with Two Arms: Zero-shot Learning, Safety and Modularity
von: Varley, Jake, et al.
Veröffentlicht: (2024)

Toward Relative Positional Encoding in Spiking Transformers
von: Lv, Changze, et al.
Veröffentlicht: (2025)

Variance-Reducing Couplings for Random Features
von: Reid, Isaac, et al.
Veröffentlicht: (2024)

SLAY: Geometry-Aware Spherical Linearized Attention with Yat-Kernel
von: Luna, Jose Miguel, et al.
Veröffentlicht: (2026)

Learning the RoPEs: Better 2D and 3D Position Encodings with STRING
von: Schenck, Connor, et al.
Veröffentlicht: (2025)

Near-Linear Time Generalized Sinkhorn Algorithms for Bounded Genus Graphs
von: Choromanski, Krzysztof, et al.
Veröffentlicht: (2026)

On the Geometry of Positional Encodings in Transformers
von: Cirrincione, Giansalvo
Veröffentlicht: (2026)

Auctions with LLM Summaries
von: Dubey, Kumar Avinava, et al.
Veröffentlicht: (2024)

Weierstrass Positional Encoding for Vision Transformers
von: Xin, Zhihang, et al.
Veröffentlicht: (2026)

Graph Transformers without Positional Encodings
von: Garg, Ayush
Veröffentlicht: (2024)

Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
von: He, Zhenyu, et al.
Veröffentlicht: (2024)

Graph Random Features for Scalable Gaussian Processes
von: Zhang, Matthew, et al.
Veröffentlicht: (2025)

Boosting Resolution Generalization of Diffusion Transformers with Randomized Positional Encodings
von: Hou, Liang, et al.
Veröffentlicht: (2025)

EUGens: Efficient, Unified, and General Dense Layers
von: Kim, Sang Min, et al.
Veröffentlicht: (2024)

EUGens: Efficient, Unified, and General Dense Layers
von: Kim, Sang Min, et al.
Veröffentlicht: (2026)

SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)

Improving Transformers using Faithful Positional Encoding
von: Idé, Tsuyoshi, et al.
Veröffentlicht: (2024)

Benchmarking Positional Encodings for GNNs and Graph Transformers
von: Grötschla, Florian, et al.
Veröffentlicht: (2024)

Comparing Graph Transformers via Positional Encodings
von: Black, Mitchell, et al.
Veröffentlicht: (2024)

One Attack to Rule Them All: Tight Quadratic Bounds for Adaptive Queries on Cardinality Sketches
von: Cohen, Edith, et al.
Veröffentlicht: (2024)

Lower Bounds for Differential Privacy Under Continual Observation and Online Threshold Queries
von: Cohen, Edith, et al.
Veröffentlicht: (2024)

UniGen: Unified Modeling of Initial Agent States and Trajectories for Generating Autonomous Driving Scenarios
von: Mahjourian, Reza, et al.
Veröffentlicht: (2024)

Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
von: He, Weiyi, et al.
Veröffentlicht: (2025)

Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
von: Ma, Qian, et al.
Veröffentlicht: (2025)