Copertina

A Structural Theory of Position Bias in Transformers

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Herasimchyk, Hanna, Labryga, Robin, Prusina, Tomislav, Laue, Sören
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Multi-Label Plant Species Prediction with Metadata-Enhanced Multi-Head Vision Transformers
di: Herasimchyk, Hanna, et al.
Pubblicazione: (2025)

Information Preserving Line Search via Bayesian Optimization
di: Labryga, Robin, et al.
Pubblicazione: (2025)

Efficient Line Search Method Based on Regression and Uncertainty Quantification
di: Laue, Sören, et al.
Pubblicazione: (2024)

Prediction is not Explanation: Revisiting the Explanatory Capacity of Mapping Embeddings
di: Herasimchyk, Hanna, et al.
Pubblicazione: (2025)

LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models
di: Abdelhalim, Alhassan, et al.
Pubblicazione: (2026)

Joint Design of Protein Surface and Structure Using a Diffusion Bridge Model
di: Li, Guanlue, et al.
Pubblicazione: (2025)

Detecting Conceptual Abstraction in LLMs
di: Regneri, Michaela, et al.
Pubblicazione: (2024)

On the Emergence of Position Bias in Transformers
di: Wu, Xinyi, et al.
Pubblicazione: (2025)

Lost in the Middle at Birth: An Exact Theory of Transformer Position Bias
di: Chowdhury, Borun D
Pubblicazione: (2026)

Approaches For Multi-View Redescription Mining
di: Mihelčić, Matej, et al.
Pubblicazione: (2020)

Time and Frequency Domain-based Anomaly Detection in Smart Meter Data for Distribution Network Studies
di: Labura, Petar, et al.
Pubblicazione: (2025)

Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
di: Mukherjee, Subhojyoti, et al.
Pubblicazione: (2024)

Accurate 2D Reconstruction for PET Scanners based on the Analytical White Image Model
di: Matulić, Tomislav, et al.
Pubblicazione: (2023)

Reducing Popularity Influence by Addressing Position Bias
di: Dzhoha, Andrii, et al.
Pubblicazione: (2024)

An Effective Theory of Bias Amplification
di: Subramonian, Arjun, et al.
Pubblicazione: (2024)

Eliminating Position Bias of Language Models: A Mechanistic Approach
di: Wang, Ziqi, et al.
Pubblicazione: (2024)

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning
di: Anguita, Nicolas, et al.
Pubblicazione: (2026)

Token Homogenization under Positional Bias
di: Yusupov, Viacheslav, et al.
Pubblicazione: (2025)

Correcting for Position Bias in Learning to Rank: A Control Function Approach
di: Islam, Md Aminul, et al.
Pubblicazione: (2025)

Explaining Grokking in Transformers through the Lens of Inductive Bias
di: Singh, Jaisidh, et al.
Pubblicazione: (2026)

Counterfactual Fairness through Transforming Data Orthogonal to Bias
di: Chen, Shuyi, et al.
Pubblicazione: (2024)

Graph Positional and Structural Encoder
di: Cantürk, Semih, et al.
Pubblicazione: (2023)

More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models
di: Wang, Xiao
Pubblicazione: (2026)

What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
di: Petersen, Jonas, et al.
Pubblicazione: (2026)

Adaptive Repetition for Mitigating Position Bias in LLM-Based Ranking
di: Vardasbi, Ali, et al.
Pubblicazione: (2025)

Sensor-Specific Transformer (PatchTST) Ensembles with Test-Matched Augmentation
di: Chandankar, Pavankumar, et al.
Pubblicazione: (2025)

Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers
di: Choromanski, Krzysztof Marcin, et al.
Pubblicazione: (2023)

Improving Transformers using Faithful Positional Encoding
di: Idé, Tsuyoshi, et al.
Pubblicazione: (2024)

Comparing Graph Transformers via Positional Encodings
di: Black, Mitchell, et al.
Pubblicazione: (2024)

Structural Bias Beyond Homophily: A Study of Fairness in Link Prediction
di: Marey, Lilian, et al.
Pubblicazione: (2026)

Structural Gender Bias in Credit Scoring: Proxy Leakage
di: SD, Navya, et al.
Pubblicazione: (2026)

On the Geometry of Positional Encodings in Transformers
di: Cirrincione, Giansalvo
Pubblicazione: (2026)

Positional Encoding in Transformer-Based Time Series Models: A Survey
di: Irani, Habib, et al.
Pubblicazione: (2025)

Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data
di: Rückstieß, Thomas, et al.
Pubblicazione: (2026)

Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness
di: Mannes, Mahmoud
Pubblicazione: (2026)

A Synthetic Dataset for Personal Attribute Inference
di: Yukhymenko, Hanna, et al.
Pubblicazione: (2024)

Size Transferability of Graph Transformers with Convolutional Positional Encodings
di: Porras-Valenzuela, Javier, et al.
Pubblicazione: (2026)

Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
di: Ma, Qian, et al.
Pubblicazione: (2025)

Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
di: Zhang, Zheng, et al.
Pubblicazione: (2024)

When Bias Meets Trainability: Connecting Theories of Initialization
di: Bassi, Alberto, et al.
Pubblicazione: (2025)