Buchumschlag

Macformer: Transformer with Random Maclaurin Feature Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Yuhan, Ding, Lizhong, Yuan, Ye, Wang, Guoren
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SchoenbAt: Rethinking Attention with Polynomial basis
von: Guo, Yuhan, et al.
Veröffentlicht: (2025)

DeepFaith: A Domain-Free and Model-Agnostic Unified Framework for Highly Faithful Explanations
von: Guo, Yuhan, et al.
Veröffentlicht: (2025)

Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization
von: Chen, Xi, et al.
Veröffentlicht: (2026)

Graph-Based Feature Augmentation for Predictive Tasks on Relational Datasets
von: Qiao, Lianpeng, et al.
Veröffentlicht: (2025)

Neural Feature Learning in Function Space
von: Xu, Xiangxiang, et al.
Veröffentlicht: (2023)

Stabilizing Extreme Q-learning by Maclaurin Expansion
von: Omura, Motoki, et al.
Veröffentlicht: (2024)

Robust Knowledge Adaptation for Dynamic Graph Neural Networks
von: Li, Hanjie, et al.
Veröffentlicht: (2022)

FlashKAT: Understanding and Addressing Performance Bottlenecks in the Kolmogorov-Arnold Transformer
von: Raffel, Matthew, et al.
Veröffentlicht: (2025)

LeaPformer: Enabling Linear Transformers for Autoregressive and Simultaneous Tasks via Learned Proportions
von: Agostinelli, Victor, et al.
Veröffentlicht: (2024)

Linear Transformer Topological Masking with Graph Random Features
von: Reid, Isaac, et al.
Veröffentlicht: (2024)

Spectraformer: A Unified Random Feature Framework for Transformer
von: Nguyen, Duke, et al.
Veröffentlicht: (2024)

DREAM: Domain-agnostic Reverse Engineering Attributes of Black-box Model
von: Li, Rongqing, et al.
Veröffentlicht: (2024)

Rethinking Graph Out-Of-Distribution Generalization: A Learnable Random Walk Perspective
von: Sun, Henan, et al.
Veröffentlicht: (2025)

Data-Aware Random Feature Kernel for Transformers
von: Farzam, Amirhossein, et al.
Veröffentlicht: (2026)

Dependence Induced Representations
von: Xu, Xiangxiang, et al.
Veröffentlicht: (2024)

MatrixKAN: Parallelized Kolmogorov-Arnold Network
von: Coffman, Cale, et al.
Veröffentlicht: (2025)

Neighbor Overlay-Induced Graph Attention Network
von: Wei, Tiqiao, et al.
Veröffentlicht: (2024)

Towards Understanding Transformers in Learning Random Walks
von: Shi, Wei, et al.
Veröffentlicht: (2025)

Structure-aware Hypergraph Transformer for Diagnosis Prediction in Electronic Health Records
von: Wang, Haiyan, et al.
Veröffentlicht: (2025)

Extracting Rule-based Descriptions of Attention Features in Transformers
von: Friedman, Dan, et al.
Veröffentlicht: (2025)

Fira: Can We Achieve Full-rank Training of LLMs Under Low-rank Constraint?
von: Chen, Xi, et al.
Veröffentlicht: (2024)

Understanding In-Context Learning for Nonlinear Regression with Transformers: Attention as Featurizer
von: Hsu, Alexander, et al.
Veröffentlicht: (2026)

Heterogeneous Multi-Agent Reinforcement Learning with Attention for Cooperative and Scalable Feature Transformation
von: Zhe, Tao, et al.
Veröffentlicht: (2025)

Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing
von: Jere, Shashank, et al.
Veröffentlicht: (2023)

Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
von: Kim, Juno, et al.
Veröffentlicht: (2024)

Separable Computation of Information Measures
von: Xu, Xiangxiang, et al.
Veröffentlicht: (2025)

Transformer Reconstructed with Dynamic Value Attention
von: Wang, Xiaowei
Veröffentlicht: (2025)

Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer
von: Dong, Yihe, et al.
Veröffentlicht: (2025)

GPT-FT: An Efficient Automated Feature Transformation Using GPT for Sequence Reconstruction and Performance Enhancement
von: Gao, Yang, et al.
Veröffentlicht: (2025)

Manifold Random Features
von: Parashar, Ananya, et al.
Veröffentlicht: (2026)

Optimal Kernel Quantile Learning with Random Features
von: Wang, Caixing, et al.
Veröffentlicht: (2024)

QuantKAN: A Unified Quantization Framework for Kolmogorov Arnold Networks
von: Fuad, Kazi Ahmed Asif, et al.
Veröffentlicht: (2025)

Towards Understanding the Word Sensitivity of Attention Layers: A Study via Random Features
von: Bombari, Simone, et al.
Veröffentlicht: (2024)

Handling Label Noise via Instance-Level Difficulty Modeling and Dynamic Optimization
von: Zhang, Kuan, et al.
Veröffentlicht: (2025)

Sequential Attention for Feature Selection
von: Yasuda, Taisuke, et al.
Veröffentlicht: (2022)

AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity
von: Zhang, Yu, et al.
Veröffentlicht: (2025)

Unveiling and Causalizing CoT: A Causal Pespective
von: Fu, Jiarun, et al.
Veröffentlicht: (2025)

Generalized Attention Flow: Feature Attribution for Transformer Models via Maximum Flow
von: Azarkhalili, Behrooz, et al.
Veröffentlicht: (2025)

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features
von: Helbling, Alec, et al.
Veröffentlicht: (2025)

Stein Random Feature Regression
von: Warren, Houston, et al.
Veröffentlicht: (2024)