Buchumschlag

On the Role of Hidden States of Modern Hopfield Network in Transformer

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Masumura, Tsubasa, Taki, Masato
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Rectified Lagrangian for Out-of-Distribution Detection in Modern Hopfield Networks
von: Moriai, Ryo, et al.
Veröffentlicht: (2025)

Nonparametric Modern Hopfield Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models
von: Wu, Dennis, et al.
Veröffentlicht: (2024)

Geometry-Aware Attention Guidance for Diffusion Models via Modern Hopfield Dynamics
von: Kim, Kwanyoung
Veröffentlicht: (2026)

On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Outlier-Efficient Hopfield Layers for Large Transformer-Based Models
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model
von: Xu, Chenwei, et al.
Veröffentlicht: (2024)

Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2024)

Modern Hopfield Networks Require Chain-of-Thought to Solve $\mathsf{NC}^1$-Hard Problems
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Vision Hopfield Memory Networks
von: Wang, Jianfeng, et al.
Veröffentlicht: (2026)

OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
von: Luo, Charles
Veröffentlicht: (2026)

iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer
von: Ota, Toshihiro, et al.
Veröffentlicht: (2023)

Graph Hopfield Networks: Energy-Based Node Classification with Associative Memory
von: Rao, Abinav, et al.
Veröffentlicht: (2026)

Asymptotically Stable Quaternion-valued Hopfield-structured Neural Network with Periodic Projection-based Supervised Learning Rules
von: Wang, Tianwei, et al.
Veröffentlicht: (2025)

Transformer Injectivity & Geometric Robustness - Analytic Margins and Bi-Lipschitz Uniformity of Sequence-Level Hidden States
von: von Strauss, Mikael
Veröffentlicht: (2025)

Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
von: Kashyap, Satyananda, et al.
Veröffentlicht: (2024)

Revisiting Knowledge Distillation: The Hidden Role of Dataset Size
von: Lanzillotta, Giulia, et al.
Veröffentlicht: (2025)

Hidden-State Privacy Has an Empty Middle
von: Bell, Alexander Okezue
Veröffentlicht: (2026)

Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective
von: Cho, Hyunmin, et al.
Veröffentlicht: (2026)

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing
von: Fang, Yuan, et al.
Veröffentlicht: (2026)

Transformers as Multi-task Learners: Decoupling Features in Hidden Markov Models
von: Hao, Yifan, et al.
Veröffentlicht: (2025)

Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
von: Lee, Jaeha, et al.
Veröffentlicht: (2025)

Lightweight Hopfield Neural Networks for Bioacoustic Detection and Call Monitoring of Captive Primates
von: Lomas, Wendy, et al.
Veröffentlicht: (2025)

The Hidden Power of Normalization Layers in Neural Networks: Exponential Capacity Control
von: Than, Khoat
Veröffentlicht: (2025)

First-of-its-kind AI model for bioacoustic detection using a lightweight associative memory Hopfield neural network
von: Gascoyne, Andrew, et al.
Veröffentlicht: (2025)

Residual Stream Duality in Modern Transformer Architectures
von: Zhang, Yifan
Veröffentlicht: (2026)

Neural Breadcrumbs: Membership Inference Attacks on LLMs Through Hidden State and Attention Pattern Analysis
von: Makhija, Disha, et al.
Veröffentlicht: (2025)

Long-Sequence Memory with Temporal Kernels and Dense Hopfield Functionals
von: Farooq, Ahmed
Veröffentlicht: (2025)

TabSurv: Adapting Modern Tabular Neural Networks to Survival Analysis
von: Kirpichenko, Stanislav, et al.
Veröffentlicht: (2026)

Transformers and Their Roles as Time Series Foundation Models
von: Wu, Dennis, et al.
Veröffentlicht: (2025)

Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling
von: Ceni, Andrea, et al.
Veröffentlicht: (2025)

Posterior-First Neural PDE Simulation: Inferring Hidden Problem State from a Single Field
von: Wang, Wenshuo, et al.
Veröffentlicht: (2026)

RT-Transformer: The Transformer Block as a Spherical State Estimator
von: Racioppo, Peter
Veröffentlicht: (2026)

time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models
von: Sanyal, Debdeep, et al.
Veröffentlicht: (2025)

Learning with Hidden Factorial Structure
von: Arnal, Charles, et al.
Veröffentlicht: (2024)

The Hidden Power of Pure 16-bit Floating-Point Neural Networks
von: Yun, Juyoung, et al.
Veröffentlicht: (2023)

Learning to (Learn at Test Time): RNNs with Expressive Hidden States
von: Sun, Yu, et al.
Veröffentlicht: (2024)

When Chain-of-Thought Fails, the Solution Hides in the Hidden States
von: Mehrafarin, Houman, et al.
Veröffentlicht: (2026)

Scientifically-Interpretable Reasoning Network (ScIReN): Discovering Hidden Relationships in the Carbon Cycle and Beyond
von: Fan, Joshua, et al.
Veröffentlicht: (2025)

On the Role of Transformer Feed-Forward Layers in Nonlinear In-Context Learning
von: Sun, Haoyuan, et al.
Veröffentlicht: (2025)