Buchumschlag

Emergence Transformer: Dynamical Temporal Attention Matters

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Zihan, Qin, Bo-Wei, Du, Kai, Lin, Wei
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
von: Mistry, Deven Mahesh, et al.
Veröffentlicht: (2025)

Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
von: Zhang, Jinhao, et al.
Veröffentlicht: (2026)

Siamese Multiple Attention Temporal Convolution Networks for Human Mobility Signature Identification
von: Zheng, Zhipeng, et al.
Veröffentlicht: (2024)

Correlation-Attention Masked Temporal Transformer for User Identity Linkage Using Heterogeneous Mobility Data
von: Yan, Ziang, et al.
Veröffentlicht: (2025)

What Matters in Transformers? Not All Attention is Needed
von: He, Shwai, et al.
Veröffentlicht: (2024)

LiteAttention: A Temporal Sparse Attention for Diffusion Transformers
von: Shmilovich, Dor, et al.
Veröffentlicht: (2025)

DRL-TH: Jointly Utilizing Temporal Graph Attention and Hierarchical Fusion for UGV Navigation in Crowded Environments
von: Li, Ruitong, et al.
Veröffentlicht: (2025)

DST-GTN: Dynamic Spatio-Temporal Graph Transformer Network for Traffic Forecasting
von: Huang, Songtao, et al.
Veröffentlicht: (2024)

Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning
von: Wang, Jiapu, et al.
Veröffentlicht: (2024)

Physics-informed Attention-enhanced Fourier Neural Operator for Solar Magnetic Field Extrapolations
von: Cao, Jinghao, et al.
Veröffentlicht: (2025)

Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model
von: Wu, Hao, et al.
Veröffentlicht: (2023)

Context and Diversity Matter: The Emergence of In-Context Learning in World Models
von: Wang, Fan, et al.
Veröffentlicht: (2025)

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers
von: Adhikari, Rabin
Veröffentlicht: (2025)

Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
von: Chen, Wei, et al.
Veröffentlicht: (2026)

JoMA: Demystifying Multilayer Transformers via JOint Dynamics of MLP and Attention
von: Tian, Yuandong, et al.
Veröffentlicht: (2023)

Probing Routing-Conditional Calibration in Attention-Residual Transformers
von: Liang, Wenhao, et al.
Veröffentlicht: (2026)

MSVIT: Improving Spiking Vision Transformer Using Multi-scale Attention Fusion
von: Hua, Wei, et al.
Veröffentlicht: (2025)

Strikingness-Aware Evaluation for Temporal Knowledge Graph Reasoning
von: Huang, Rikui, et al.
Veröffentlicht: (2026)

A Distributed Hierarchical Spatio-Temporal Edge-Enhanced Graph Neural Network for City-Scale Dynamic Logistics Routing
von: Han, Zihan, et al.
Veröffentlicht: (2025)

Game-Time: Evaluating Temporal Dynamics in Spoken Language Models
von: Chang, Kai-Wei, et al.
Veröffentlicht: (2025)

Attention Basin: Why Contextual Position Matters in Large Language Models
von: Yi, Zihao, et al.
Veröffentlicht: (2025)

A Framework for Analyzing Abnormal Emergence in Service Ecosystems Through LLM-based Agent Intention Mining
von: Shen, Yifan, et al.
Veröffentlicht: (2025)

Neural Dynamics Self-Attention for Spiking Transformers
von: Zhang, Dehao, et al.
Veröffentlicht: (2026)

TEMPO: Temporal Multi-scale Autoregressive Generation of Protein Conformational Ensembles
von: Xu, Yaoyao, et al.
Veröffentlicht: (2025)

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
von: Wu, Di, et al.
Veröffentlicht: (2025)

TimeMM: Time-as-Operator Spectral Filtering for Dynamic Multimodal Recommendation
von: Yang, Wei, et al.
Veröffentlicht: (2026)

A Hierarchical Framework with Spatio-Temporal Consistency Learning for Emergence Detection in Complex Adaptive Systems
von: Chen, Siyuan, et al.
Veröffentlicht: (2024)

On the Emergence of Syntax by Means of Local Interaction
von: Wei, Zichao
Veröffentlicht: (2026)

Pay Attention to What Matters
von: Silva, Pedro Luiz, et al.
Veröffentlicht: (2024)

STAMImputer: Spatio-Temporal Attention MoE for Traffic Data Imputation
von: Wang, Yiming, et al.
Veröffentlicht: (2025)

Constrained Exploration via Reflected Replica Exchange Stochastic Gradient Langevin Dynamics
von: Zheng, Haoyang, et al.
Veröffentlicht: (2024)

State Rank Dynamics in Linear Attention LLMs
von: Sun, Ao, et al.
Veröffentlicht: (2026)

Temporal-Aware Graph Attention Network for Cryptocurrency Transaction Fraud Detection
von: Zheng, Zhi, et al.
Veröffentlicht: (2025)

Transformer-based Reasoning for Learning Evolutionary Chain of Events on Temporal Knowledge Graph
von: Fang, Zhiyu, et al.
Veröffentlicht: (2024)

Attn-QAT: 4-Bit Attention With Quantization-Aware Training
von: Zhang, Peiyuan, et al.
Veröffentlicht: (2026)

Patch Hierarchical Attention Transformer for Efficient Particle Jet Tagging
von: Wang, Aaron, et al.
Veröffentlicht: (2026)

Transformer for Object Re-Identification: A Survey
von: Ye, Mang, et al.
Veröffentlicht: (2024)

MarineFormer: A Spatio-Temporal Attention Model for USV Navigation in Dynamic Marine Environments
von: Kazemi, Ehsan, et al.
Veröffentlicht: (2024)

Unveiling and Controlling Anomalous Attention Distribution in Transformers
von: Yan, Ruiqing, et al.
Veröffentlicht: (2024)

STAIRS-Former: Spatio-Temporal Attention with Interleaved Recursive Structure Transformer for Offline Multi-task Multi-agent Reinforcement Learning
von: Jeon, Jiwon, et al.
Veröffentlicht: (2026)