Buchumschlag

Understanding MLP-Mixer as a Wide and Sparse MLP

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hayase, Tomohiro, Karakida, Ryo
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Hierarchical Associative Memory, Parallelized MLP-Mixer, and Symmetry Breaking
von: Karakida, Ryo, et al.
Veröffentlicht: (2024)

A Unified Framework for Critical Scaling of Inverse Temperature in Self-Attention
von: Hayase, Tomohiro, et al.
Veröffentlicht: (2026)

Gaussian Equivalence for Self-Attention: Asymptotic Spectral Analysis of Attention Matrix
von: Hayase, Tomohiro, et al.
Veröffentlicht: (2025)

PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting
von: Zhang, Tongtong, et al.
Veröffentlicht: (2024)

MixerFlow: MLP-Mixer meets Normalising Flows
von: English, Eshant, et al.
Veröffentlicht: (2023)

Fast Jet Tagging with MLP-Mixers on FPGAs
von: Sun, Chang, et al.
Veröffentlicht: (2025)

Temporal Graph MLP Mixer for Spatio-Temporal Forecasting
von: Bilal, Muhammad, et al.
Veröffentlicht: (2025)

Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale
von: Nie, Tong, et al.
Veröffentlicht: (2023)

MLP-SRGAN: A Single-Dimension Super Resolution GAN using MLP-Mixer
von: Mitha, Samir, et al.
Veröffentlicht: (2023)

HSTMixer: A Hierarchical MLP-Mixer for Large-Scale Traffic Forecasting
von: Wang, Yongyao, et al.
Veröffentlicht: (2025)

A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis
von: Zhong, Shuhan, et al.
Veröffentlicht: (2023)

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models
von: Badger, Benjamin L., et al.
Veröffentlicht: (2026)

TSKANMixer: Kolmogorov-Arnold Networks with MLP-Mixer Model for Time Series Forecasting
von: Hong, Young-Chae, et al.
Veröffentlicht: (2025)

SEMixer: Semantics Enhanced MLP-Mixer for Multiscale Mixing and Long-term Time Series Forecasting
von: Zhang, Xu, et al.
Veröffentlicht: (2026)

PatchAD: A Lightweight Patch-based MLP-Mixer for Time Series Anomaly Detection
von: Zhong, Zhijie, et al.
Veröffentlicht: (2024)

iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer
von: Ota, Toshihiro, et al.
Veröffentlicht: (2023)

From MLP to NeoMLP: Leveraging Self-Attention for Neural Fields
von: Kofinas, Miltiadis, et al.
Veröffentlicht: (2024)

BumpNet: A Sparse MLP Framework for Learning PDE Solutions
von: Chiu, Shao-Ting, et al.
Veröffentlicht: (2025)

On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width
von: Ishikawa, Satoki, et al.
Veröffentlicht: (2023)

Rethinking the shape convention of an MLP
von: Chen, Meng-Hsi, et al.
Veröffentlicht: (2025)

Spatial Transfer Learning with Simple MLP
von: Yang, Hongjian
Veröffentlicht: (2024)

PowerMLP: An Efficient Version of KAN
von: Qiu, Ruichen, et al.
Veröffentlicht: (2024)

KAN or MLP: A Fairer Comparison
von: Yu, Runpeng, et al.
Veröffentlicht: (2024)

Optimal Layer Selection for Latent Data Augmentation
von: Takase, Tomoumi, et al.
Veröffentlicht: (2024)

GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation
von: Li, Wenhao, et al.
Veröffentlicht: (2022)

Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
von: Sakai, Mana, et al.
Veröffentlicht: (2025)

Maintaining and Managing Road Quality:Using MLP and DNN
von: Maotwana, Makgotso Jacqueline
Veröffentlicht: (2024)

An All-MLP Sequence Modeling Architecture That Excels at Copying
von: Cui, Chenwei, et al.
Veröffentlicht: (2024)

Can an MLP Absorb Its Own Skip Connection?
von: Mijoski, Antonij, et al.
Veröffentlicht: (2026)

Efficient LLMs with AMP: Attention Heads and MLP Pruning
von: Mugnaini, Leandro Giusti, et al.
Veröffentlicht: (2025)

End to End Autoencoder MLP Framework for Sepsis Prediction
von: Cai, Hejiang, et al.
Veröffentlicht: (2025)

KAN v.s. MLP for Offline Reinforcement Learning
von: Guo, Haihong, et al.
Veröffentlicht: (2024)

Self-attention Networks Localize When QK-eigenspectrum Concentrates
von: Bao, Han, et al.
Veröffentlicht: (2024)

Continual Learning in Modern Hopfield Networks with an Application to Diffusion Models
von: Takeda, Ken, et al.
Veröffentlicht: (2026)

D2-MLP: Dynamic Decomposed MLP Mixer for Medical Image Segmentation
von: Yang, Jin, et al.
Veröffentlicht: (2024)

A Multimodal Fusion Model Leveraging MLP Mixer and Handcrafted Features-based Deep Learning Networks for Facial Palsy Detection
von: Oo, Heng Yim Nicole, et al.
Veröffentlicht: (2025)

Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians
von: Tomihari, Akiyoshi, et al.
Veröffentlicht: (2025)

HyperMLP: An Integrated Perspective for Sequence Modeling
von: Lu, Jiecheng, et al.
Veröffentlicht: (2026)

Hypergraph-MLP: Learning on Hypergraphs without Message Passing
von: Tang, Bohan, et al.
Veröffentlicht: (2023)

MLP-KAN: Unifying Deep Representation and Function Learning
von: He, Yunhong, et al.
Veröffentlicht: (2024)