Buchumschlag

MLP Memory: A Retriever-Pretrained Memory for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wei, Rubin, Cao, Jiaqi, Wang, Jiarui, Kai, Jushi, Guo, Qipeng, Zhou, Bowen, Lin, Zhouhan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Memory Decoder: A Pretrained, Plug-and-Play Memory for Large Language Models
von: Cao, Jiaqi, et al.
Veröffentlicht: (2025)

Leveraging Grammar Induction for Language Understanding and Generation
von: Kai, Jushi, et al.
Veröffentlicht: (2024)

SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully
von: Kai, Jushi, et al.
Veröffentlicht: (2024)

Context-level Language Modeling by Learning Predictive Context Embeddings
von: Dai, Beiya, et al.
Veröffentlicht: (2025)

Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
von: Liu, Yuliang, et al.
Veröffentlicht: (2026)

FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension
von: Kai, Jushi, et al.
Veröffentlicht: (2025)

Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval
von: Rubin, Ohad, et al.
Veröffentlicht: (2023)

Towards Compressive and Scalable Recurrent Memory
von: Song, Yunchong, et al.
Veröffentlicht: (2026)

Schrodinger's Memory: Large Language Models
von: Wang, Wei, et al.
Veröffentlicht: (2024)

Critical Data Size of Language Models from a Grokking Perspective
von: Zhu, Xuekai, et al.
Veröffentlicht: (2024)

Memory Retrieval and Consolidation in Large Language Models through Function Tokens
von: Zhang, Shaohua, et al.
Veröffentlicht: (2025)

AWM: Accurate Weight-Matrix Fingerprint for Large Language Models
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
von: Lu, Liming, et al.
Veröffentlicht: (2026)

Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm
von: Zhang, Jinrui, et al.
Veröffentlicht: (2026)

PonderLM: Pretraining Language Models to Ponder in Continuous Space
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents
von: Yu, Yi, et al.
Veröffentlicht: (2026)

Implicit Graph, Explicit Retrieval: Towards Efficient and Interpretable Long-horizon Memory for Large Language Models
von: Zhang, Xin, et al.
Veröffentlicht: (2026)

Retention Consequence in Lifecycle Memory Control
von: Han, Jiarui
Veröffentlicht: (2026)

Interweaving Memories of a Siamese Large Language Model
von: Song, Xin, et al.
Veröffentlicht: (2024)

Data-free Weight Compress and Denoise for Large Language Models
von: Peng, Runyu, et al.
Veröffentlicht: (2024)

Full Parameter Fine-tuning for Large Language Models with Limited Resources
von: Lv, Kai, et al.
Veröffentlicht: (2023)

KVPruner: Structural Pruning for Faster and Memory-Efficient Large Language Models
von: Lv, Bo, et al.
Veröffentlicht: (2024)

Personalized Large Language Model Assistant with Evolving Conditional Memory
von: Yuan, Ruifeng, et al.
Veröffentlicht: (2023)

Disentangling Memory and Reasoning Ability in Large Language Models
von: Jin, Mingyu, et al.
Veröffentlicht: (2024)

PaD: Program-aided Distillation Can Teach Small Models Reasoning Better than Chain-of-thought Fine-tuning
von: Zhu, Xuekai, et al.
Veröffentlicht: (2023)

HuRef: HUman-REadable Fingerprint for Large Language Models
von: Zeng, Boyi, et al.
Veröffentlicht: (2023)

APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
von: Zhao, Bowen, et al.
Veröffentlicht: (2024)

AnchorMem: Anchored Facts with Associative Contexts for Building Memory in Large Language Models
von: Shen, Zhanyu, et al.
Veröffentlicht: (2026)

In-Memory Learning: A Declarative Learning Framework for Large Language Models
von: Wang, Bo, et al.
Veröffentlicht: (2024)

Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models
von: Wang, Qingyue, et al.
Veröffentlicht: (2023)

Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space
von: Zeng, Boyi, et al.
Veröffentlicht: (2025)

Empowering Working Memory for Large Language Model Agents
von: Guo, Jing, et al.
Veröffentlicht: (2023)

Code-Driven Inductive Synthesis: Enhancing Reasoning Abilities of Large Language Models with Sequences
von: Chen, Kedi, et al.
Veröffentlicht: (2025)

Cognitive Memory in Large Language Models
von: Shan, Lianlei, et al.
Veröffentlicht: (2025)

The Mosaic Memory of Large Language Models
von: Shilov, Igor, et al.
Veröffentlicht: (2024)

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models
von: Wang, Huanyu, et al.
Veröffentlicht: (2025)

Structured Memory Mechanisms for Stable Context Representation in Large Language Models
von: Xing, Yue, et al.
Veröffentlicht: (2025)

Navigating the Dual Facets: A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models
von: Lin, Zihao, et al.
Veröffentlicht: (2024)

MemoryRewardBench: Benchmarking Reward Models for Long-Term Memory Management in Large Language Models
von: Tang, Zecheng, et al.
Veröffentlicht: (2026)