Buchumschlag

Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hayakawa, Daichi, Sato, Issei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Length Generalization of Causal Transformers without Position Encoding
von: Wang, Jie, et al.
Veröffentlicht: (2024)

On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding
von: Xu, Kevin, et al.
Veröffentlicht: (2024)

Rethinking Associative Memory Mechanism in Induction Head
von: Wang, Shuo, et al.
Veröffentlicht: (2024)

Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection
von: Fujikawa, Shota, et al.
Veröffentlicht: (2026)

On the Geometry of Positional Encodings in Transformers
von: Cirrincione, Giansalvo
Veröffentlicht: (2026)

A Formal Comparison Between Chain of Thought and Latent Thought
von: Xu, Kevin, et al.
Veröffentlicht: (2025)

ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
von: Datseris, Aleksis, et al.
Veröffentlicht: (2025)

Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
von: Hallam, Mohamed Amine, et al.
Veröffentlicht: (2026)

Theoretical Analysis of Byte-Pair Encoding
von: Kozma, László, et al.
Veröffentlicht: (2024)

Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
von: Zhao, Liang, et al.
Veröffentlicht: (2023)

SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)

Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
von: Zuo, Chunsheng, et al.
Veröffentlicht: (2024)

PaTH Attention: Position Encoding via Accumulating Householder Transformations
von: Yang, Songlin, et al.
Veröffentlicht: (2025)

Why Are Positional Encodings Nonessential for Deep Autoregressive Transformers? Revisiting a Petroglyph
von: Irie, Kazuki
Veröffentlicht: (2024)

Speech Swin-Transformer: Exploring a Hierarchical Transformer with Shifted Windows for Speech Emotion Recognition
von: Wang, Yong, et al.
Veröffentlicht: (2024)

Hierarchical Bracketing Encodings Work for Dependency Graphs
von: Ezquerro, Ana, et al.
Veröffentlicht: (2025)

Hierarchical Bracketing Encodings for Dependency Parsing as Tagging
von: Ezquerro, Ana, et al.
Veröffentlicht: (2025)

A Morphology-Based Investigation of Positional Encodings
von: Ghosh, Poulami, et al.
Veröffentlicht: (2024)

How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias
von: Huang, Ruiquan, et al.
Veröffentlicht: (2025)

Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
von: Zeris, Athanasios
Veröffentlicht: (2026)

DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2024)

Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
von: Li, Hongkang, et al.
Veröffentlicht: (2024)

2D-TPE: Two-Dimensional Positional Encoding Enhances Table Understanding for Large Language Models
von: Li, Jia-Nan, et al.
Veröffentlicht: (2024)

KGQuiz: Evaluating the Generalization of Encoded Knowledge in Large Language Models
von: Bai, Yuyang, et al.
Veröffentlicht: (2023)

Group Representational Position Encoding
von: Zhang, Yifan, et al.
Veröffentlicht: (2025)

Understanding Transformer Optimization via Gradient Heterogeneity
von: Tomihari, Akiyoshi, et al.
Veröffentlicht: (2025)

Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention
von: Zeris, Athanasios
Veröffentlicht: (2026)

On the Encoding of Gender in Transformer-based ASR Representations
von: Krishnan, Aravind, et al.
Veröffentlicht: (2024)

Encoding Hierarchical Schema via Concept Flow for Multifaceted Ideology Detection
von: Liu, Songtao, et al.
Veröffentlicht: (2024)

On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
von: Tatariya, Kushal, et al.
Veröffentlicht: (2025)

Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
von: Wang, Zhenghua, et al.
Veröffentlicht: (2025)

CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation
von: Zhu, Xiaofei, et al.
Veröffentlicht: (2024)

Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer
von: Zhu, Yongxin, et al.
Veröffentlicht: (2024)

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis
von: Diera, Andor, et al.
Veröffentlicht: (2026)

Contextual Position Encoding: Learning to Count What's Important
von: Golovneva, Olga, et al.
Veröffentlicht: (2024)

Positional Encoding via Token-Aware Phase Attention
von: Wang, Yu, et al.
Veröffentlicht: (2025)

Advancing Neural Encoding of Portuguese with Transformer Albertina PT-*
von: Rodrigues, João, et al.
Veröffentlicht: (2023)

Theoretical Analysis of Weak-to-Strong Generalization
von: Lang, Hunter, et al.
Veröffentlicht: (2024)

An Efficient Recipe for Long Context Extension via Middle-Focused Positional Encoding
von: Wu, Tong, et al.
Veröffentlicht: (2024)

Hierarchical Narrative Analysis: Unraveling Perceptions of Generative AI
von: Matsuoka, Riona, et al.
Veröffentlicht: (2024)