Buchumschlag

On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gu, Linyan, Yang, Lihua, Zhou, Feng
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Polynormer: Polynomial-Expressive Graph Transformer in Linear Time
von: Deng, Chenhui, et al.
Veröffentlicht: (2024)

On the Expressive Power of Graph Neural Networks
von: Nalwade, Ashwin, et al.
Veröffentlicht: (2024)

Relating Piecewise Linear Kolmogorov Arnold Networks to ReLU Networks
von: Schoots, Nandi, et al.
Veröffentlicht: (2025)

On the (Non) Injectivity of Piecewise Linear Janossy Pooling
von: Reshef, Ilai, et al.
Veröffentlicht: (2025)

Continuity, Piecewise Corrections, and Functor Models in Function-Based Learning
von: Harby, John
Veröffentlicht: (2026)

Developing Training Procedures for Piecewise-linear Spline Activation Functions in Neural Networks
von: Patty, William H
Veröffentlicht: (2025)

k-Maximum Inner Product Attention for Graph Transformers and the Expressive Power of GraphGPS
von: De Schouwer, Jonas, et al.
Veröffentlicht: (2026)

Automatic Piecewise Linear Regression for Predicting Student Learning Satisfaction
von: Choi, Haemin, et al.
Veröffentlicht: (2025)

On the Expressive Power of GNNs for Boolean Satisfiability
von: Peltonen, Saku, et al.
Veröffentlicht: (2026)

On the Expressive Power of Sparse Geometric MPNNs
von: Sverdlov, Yonatan, et al.
Veröffentlicht: (2024)

Expressive Power of ReLU and Step Networks under Floating-Point Operations
von: Park, Yeachan, et al.
Veröffentlicht: (2024)

Piecewise Constant Spectral Graph Neural Network
von: Martirosyan, Vahan, et al.
Veröffentlicht: (2025)

On the Expressive Power of Tree-Structured Probabilistic Circuits
von: Yin, Lang, et al.
Veröffentlicht: (2024)

Expanding Expressivity in Transformer Models with MöbiusAttention
von: Halacheva, Anna-Maria, et al.
Veröffentlicht: (2024)

Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation
von: Batten, Ben, et al.
Veröffentlicht: (2024)

Weisfeiler-Lehman goes Dynamic: An Analysis of the Expressive Power of Graph Neural Networks for Attributed and Dynamic Graphs
von: Beddar-Wiesing, Silvia, et al.
Veröffentlicht: (2022)

Localized Observation Abstraction Using Piecewise Linear Spatial Decay for Reinforcement Learning in Combat Simulations
von: Black, Scotty, et al.
Veröffentlicht: (2024)

The WidthWall: A Strict Expressivity Hierarchy for Hypergraph Neural Networks
von: Jiang, Fengqing, et al.
Veröffentlicht: (2026)

The Expressive Power of Low-Rank Adaptation
von: Zeng, Yuchen, et al.
Veröffentlicht: (2023)

Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
von: Jiang, Gangwei, et al.
Veröffentlicht: (2025)

On the Expressive Power and Limitations of Multi-Layer SSMs
von: Zubić, Nikola, et al.
Veröffentlicht: (2026)

Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting
von: Jin, Ming, et al.
Veröffentlicht: (2023)

Expressive Power of Deep Homomorphism Networks over Relational Databases
von: Schönherr, Moritz, et al.
Veröffentlicht: (2026)

Almost Minimax Optimal Best Arm Identification in Piecewise Stationary Linear Bandits
von: Hou, Yunlong, et al.
Veröffentlicht: (2024)

Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks
von: Schnaus, Dominik, et al.
Veröffentlicht: (2023)

Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification
von: Mao, Yuhao, et al.
Veröffentlicht: (2024)

Boosting Graph Neural Network Expressivity with Learnable Lanczos Constraints
von: Azizi, Niloofar, et al.
Veröffentlicht: (2024)

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
von: Ye, Xiaowei, et al.
Veröffentlicht: (2026)

Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation
von: Gu, Jingwen, et al.
Veröffentlicht: (2025)

Every Bit Counts: A Theoretical Study of Precision-Expressivity Tradeoffs in Quantized Transformers
von: Chakrabarti, Sayak, et al.
Veröffentlicht: (2026)

On the Stability of Expressive Positional Encodings for Graphs
von: Huang, Yinan, et al.
Veröffentlicht: (2023)

Theoretical Constraints on the Expressive Power of $\mathsf{RoPE}$-based Tensor Attention Transformers
von: Li, Xiaoyu, et al.
Veröffentlicht: (2024)

NeuronSeek: On Stability and Expressivity of Task-driven Neurons
von: Pei, Hanyu, et al.
Veröffentlicht: (2025)

Maxout Polytopes
von: Balakin, Andrei, et al.
Veröffentlicht: (2025)

Towards Understanding the Expressive Power of GNNs with Global Readout
von: Funk, Maurice, et al.
Veröffentlicht: (2026)

Conformal Transformations for Symmetric Power Transformers
von: Kumar, Saurabh, et al.
Veröffentlicht: (2025)

Expressive Power of Implicit Models: Rich Equilibria and Test-Time Scaling
von: Liu, Jialin, et al.
Veröffentlicht: (2025)

Continuous-Time Attention: PDE-Guided Mechanisms for Long-Sequence Transformers
von: Zhang, Yukun, et al.
Veröffentlicht: (2025)

Sample and Computationally Efficient Continuous-Time Reinforcement Learning with General Function Approximation
von: Zhao, Runze, et al.
Veröffentlicht: (2025)

ZeroS: Zero-Sum Linear Attention for Efficient Transformers
von: Lu, Jiecheng, et al.
Veröffentlicht: (2026)