Buchumschlag

Hybrid Focal and Full-Range Attention Based Graph Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Minhong, Zhao, Zhenhao, Cai, Weiran
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mitigating Exposure Bias in Score-Based Generation of Molecular Conformations
von: Wang, Sijia, et al.
Veröffentlicht: (2024)

Multiplex Graph Contrastive Learning with Soft Negatives
von: Zhao, Zhenhao, et al.
Veröffentlicht: (2024)

InfoMamba: An Attention-Free Hybrid Mamba-Transformer Model
von: Wang, Youjin, et al.
Veröffentlicht: (2026)

Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
von: Zhang, Jinhao, et al.
Veröffentlicht: (2026)

Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
von: El, Batu, et al.
Veröffentlicht: (2025)

Graph Convolutions Enrich the Self-Attention in Transformers!
von: Choi, Jeongwhan, et al.
Veröffentlicht: (2023)

Brain Network Classification Based on Graph Contrastive Learning and Graph Transformer
von: Zhu, ZhiTeng, et al.
Veröffentlicht: (2025)

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
von: Ye, Xiaowei, et al.
Veröffentlicht: (2026)

Transformer-based Graph Neural Networks for Battery Range Prediction in AIoT Battery-Swap Services
von: Li, Zhao, et al.
Veröffentlicht: (2024)

Boosting MLPs with a Coarsening Strategy for Long-Term Time Series Forecasting
von: Bian, Nannan, et al.
Veröffentlicht: (2024)

VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention
von: Zhou, Jingbo, et al.
Veröffentlicht: (2026)

A Simplifying and Learnable Graph Convolutional Attention Network for Unsupervised Knowledge Graphs Alignment
von: Cai, Weishan, et al.
Veröffentlicht: (2024)

Neighbourhood Transformer: Switchable Attention for Monophily-Aware Graph Learning
von: Luo, Yi, et al.
Veröffentlicht: (2026)

k-Maximum Inner Product Attention for Graph Transformers and the Expressive Power of GraphGPS
von: De Schouwer, Jonas, et al.
Veröffentlicht: (2026)

A Statistical Theory of Regularization-Based Continual Learning
von: Zhao, Xuyang, et al.
Veröffentlicht: (2024)

Spacetime $E(n)$-Transformer: Equivariant Attention for Spatio-temporal Graphs
von: Charles, Sergio G.
Veröffentlicht: (2024)

Cardinality-Preserving Attention Channels for Graph Transformers in Molecular Property Prediction
von: Gupta, Abhijit
Veröffentlicht: (2026)

Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
von: Dimitrov, Leon
Veröffentlicht: (2025)

Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study
von: Wu, Gang, et al.
Veröffentlicht: (2025)

Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
von: Zhao, Weijie, et al.
Veröffentlicht: (2026)

YZS-model: A Predictive Model for Organic Drug Solubility Based on Graph Convolutional Networks and Transformer-Attention
von: Wang, Chenxu, et al.
Veröffentlicht: (2024)

RiemannGL: Riemannian Geometry Changes Graph Deep Learning
von: Sun, Li, et al.
Veröffentlicht: (2026)

Are Graph Transformers Necessary? Efficient Long-Range Message Passing with Fractal Nodes in MPNNs
von: Choi, Jeongwhan, et al.
Veröffentlicht: (2025)

Option-ID Based Elimination For Multiple Choice Questions
von: Zhu, Zhenhao, et al.
Veröffentlicht: (2025)

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training
von: Zhang, Chengqian, et al.
Veröffentlicht: (2026)

HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model
von: Ma, Mingqian, et al.
Veröffentlicht: (2025)

HATSolver: Learning Groebner Bases with Hierarchical Attention Transformers
von: Malhou, Mohamed, et al.
Veröffentlicht: (2025)

Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering
von: Xie, Xuanting, et al.
Veröffentlicht: (2025)

On the Effectiveness of Hybrid Pooling in Mixup-Based Graph Learning for Language Processing
von: Dong, Zeming, et al.
Veröffentlicht: (2022)

Understanding Grokking Through A Robustness Viewpoint
von: Tan, Zhiquan, et al.
Veröffentlicht: (2023)

A Semi-supervised Generative Model for Incomplete Multi-view Data Integration with Missing Labels
von: Shen, Yiyang, et al.
Veröffentlicht: (2025)

A Multi-Modal CNN-LSTM Framework with Multi-Head Attention and Focal Loss for Real-Time Elderly Fall Detection
von: Zhou, Lijie, et al.
Veröffentlicht: (2026)

CVTGAD: Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection
von: Li, Jindong, et al.
Veröffentlicht: (2024)

DGTN: Graph-Enhanced Transformer with Diffusive Attention Gating Mechanism for Enzyme DDG Prediction
von: Lin, Abigail
Veröffentlicht: (2025)

GSA-Forecaster: Forecasting Graph-Based Time-Dependent Data with Graph Sequence Attention
von: Li, Yang, et al.
Veröffentlicht: (2021)

Mixture of Layers with Hybrid Attention
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2026)

Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond
von: Ke, Yekun, et al.
Veröffentlicht: (2024)

GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention
von: Yan, Junchi, et al.
Veröffentlicht: (2024)

Unveiling and Controlling Anomalous Attention Distribution in Transformers
von: Yan, Ruiqing, et al.
Veröffentlicht: (2024)

SpatialMAGIC: A Hybrid Framework Integrating Graph Diffusion and Spatial Attention for Spatial Transcriptomics Imputation
von: Zaman, Sayeem Bin, et al.
Veröffentlicht: (2026)