Buchumschlag

Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mistry, Deven Mahesh, Bajaj, Anooshka, Aggarwal, Yash, Maini, Sahaj Singh, Tiganj, Zoran
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Beyond Semantics: How Temporal Biases Shape Retrieval in Transformer and State-Space Models
von: Bajaj, Anooshka, et al.
Veröffentlicht: (2025)

Temporal Dependencies in In-Context Learning: The Role of Induction Heads
von: Bajaj, Anooshka, et al.
Veröffentlicht: (2026)

Who Do LLMs Trust? Human Experts Matter More Than Other LLMs
von: Bajaj, Anooshka, et al.
Veröffentlicht: (2026)

High Volatility and Action Bias Distinguish LLMs from Humans in Group Coordination
von: Maini, Sahaj Singh, et al.
Veröffentlicht: (2026)

Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows
von: Dickson, Billy, et al.
Veröffentlicht: (2025)

Vision-language models learn the geometry of human perceptual space
von: Sanders, Craig, et al.
Veröffentlicht: (2025)

Different Paths to Harmful Compliance: Behavioral Side Effects and Mechanistic Divergence Across LLM Jailbreaks
von: Kabir, Md Rysul, et al.
Veröffentlicht: (2026)

Structured Episodic Event Memory
von: Lu, Zhengxuan, et al.
Veröffentlicht: (2026)

Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
von: Aggarwal, Shubham, et al.
Veröffentlicht: (2026)

Linking In-context Learning in Transformers to Human Episodic Memory
von: Ji-An, Li, et al.
Veröffentlicht: (2024)

Echo: A Large Language Model with Temporal Episodic Memory
von: Liu, WenTao, et al.
Veröffentlicht: (2025)

Cross-Linguistic Analysis of Memory Load in Sentence Comprehension: Linear Distance and Structural Density
von: Aggarwal, Krishna
Veröffentlicht: (2025)

CAST: Character-and-Scene Episodic Memory for Agents
von: Ma, Kexin, et al.
Veröffentlicht: (2026)

REAMS: Reasoning Enhanced Algorithm for Maths Solving
von: Singh, Eishkaran, et al.
Veröffentlicht: (2025)

Characterizing the Expressivity of Local Attention in Transformers
von: Li, Jiaoda, et al.
Veröffentlicht: (2026)

Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
von: Das, Sourya Dipta, et al.
Veröffentlicht: (2024)

Large Language Models Prompting With Episodic Memory
von: Do, Dai, et al.
Veröffentlicht: (2024)

Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs
von: Hong, Wanyang, et al.
Veröffentlicht: (2025)

An Analysis of Embedding Layers and Similarity Scores using Siamese Neural Networks
von: Bingi, Yash, et al.
Veröffentlicht: (2023)

Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers
von: Musat, Tiberiu
Veröffentlicht: (2024)

LexTime: A Benchmark for Temporal Ordering of Legal Events
von: Barale, Claire, et al.
Veröffentlicht: (2025)

On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability
von: Zheng, Chenyu, et al.
Veröffentlicht: (2024)

Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue
von: Kim, Sangyeop, et al.
Veröffentlicht: (2025)

Beyond Individuals: Collective Predictive Coding for Memory, Attention, and the Emergence of Language
von: Taniguchi, Tadahiro
Veröffentlicht: (2025)

SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation
von: Jiang, Hanqi, et al.
Veröffentlicht: (2026)

Deep reinforcement learning with time-scale invariant memory
von: Kabir, Md Rysul, et al.
Veröffentlicht: (2024)

EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts
von: Chaudhury, Subhajit, et al.
Veröffentlicht: (2025)

Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces
von: Rajesh, Shreyas, et al.
Veröffentlicht: (2025)

Human-inspired Episodic Memory for Infinite Context LLMs
von: Fountas, Zafeirios, et al.
Veröffentlicht: (2024)

Episodic Memories Generation and Evaluation Benchmark for Large Language Models
von: Huet, Alexis, et al.
Veröffentlicht: (2025)

Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks
von: Pink, Mathis, et al.
Veröffentlicht: (2024)

EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents
von: Li, Xinze, et al.
Veröffentlicht: (2026)

Automated Extraction and Creation of FBS Design Reasoning Knowledge Graphs from Structured Data in Product Catalogues Lacking Contextual Information
von: Sahadevan, Vijayalaxmi, et al.
Veröffentlicht: (2024)

MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory
von: Zhang, Shengtao, et al.
Veröffentlicht: (2026)

SAS: Simulated Attention Score
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2025)

Model Editing with Graph-Based External Memory
von: Atri, Yash Kumar, et al.
Veröffentlicht: (2025)

Unifying Adversarial Robustness and Training Across Text Scoring Models
von: Tamber, Manveer Singh, et al.
Veröffentlicht: (2026)

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers
von: Adhikari, Rabin
Veröffentlicht: (2025)

Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability
von: Chang, Tyler A., et al.
Veröffentlicht: (2023)

Towards Adaptable and Interactive Image Captioning with Data Augmentation and Episodic Memory
von: Anagnostopoulou, Aliki, et al.
Veröffentlicht: (2023)