Buchumschlag

MemoryPrompt: A Light Wrapper to Improve Context Tracking in Pre-trained Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rakotonirina, Nathanaël Carraz, Baroni, Marco
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Evil twins are not that evil: Qualitative insights into machine-generated prompts
von: Rakotonirina, Nathanaël Carraz, et al.
Veröffentlicht: (2024)

Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer
von: Yang, Yu, et al.
Veröffentlicht: (2024)

Pre-training Limited Memory Language Models with Internal and External Knowledge
von: Zhao, Linxi, et al.
Veröffentlicht: (2025)

Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning
von: Rakotonirina, Nathanaël Carraz, et al.
Veröffentlicht: (2026)

Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
von: Mackraz, Natalie, et al.
Veröffentlicht: (2024)

Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
von: Soni, Nikita, et al.
Veröffentlicht: (2024)

Investigating Data Contamination for Pre-training Language Models
von: Jiang, Minhao, et al.
Veröffentlicht: (2024)

Aligning Pre-trained Models for Spoken Language Translation
von: Sedláček, Šimon, et al.
Veröffentlicht: (2024)

Sequence-to-Sequence Spanish Pre-trained Language Models
von: Araujo, Vladimir, et al.
Veröffentlicht: (2023)

Parallel Structures in Pre-training Data Yield In-Context Learning
von: Chen, Yanda, et al.
Veröffentlicht: (2024)

Integrating Pre-trained Language Model into Neural Machine Translation
von: Hwang, Soon-Jae, et al.
Veröffentlicht: (2023)

Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
von: Chang, Hongyan, et al.
Veröffentlicht: (2024)

Relational Prompt-based Pre-trained Language Models for Social Event Detection
von: Li, Pu, et al.
Veröffentlicht: (2024)

Structured Prompts Improve Evaluation of Language Models
von: Aali, Asad, et al.
Veröffentlicht: (2025)

Simple and Scalable Strategies to Continually Pre-train Large Language Models
von: Ibrahim, Adam, et al.
Veröffentlicht: (2024)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

Improving Context-Aware Preference Modeling for Language Models
von: Pitis, Silviu, et al.
Veröffentlicht: (2024)

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
von: Samragh, Mohammad, et al.
Veröffentlicht: (2024)

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models
von: Zhang, Qizheng, et al.
Veröffentlicht: (2025)

CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model
von: Chiang, Shang-Hsuan, et al.
Veröffentlicht: (2024)

HiFloat4 Format for Language Model Pre-training on Ascend NPUs
von: Taghian, Mehran, et al.
Veröffentlicht: (2026)

Recycling the Web: A Method to Enhance Pre-training Data Quality and Quantity for Language Models
von: Nguyen, Thao, et al.
Veröffentlicht: (2025)

Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2023)

ParaPO: Aligning Language Models to Reduce Verbatim Reproduction of Pre-training Data
von: Chen, Tong, et al.
Veröffentlicht: (2025)

PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training
von: Yi, Rongjie, et al.
Veröffentlicht: (2024)

Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?
von: Sakai, Yusuke, et al.
Veröffentlicht: (2023)

Machine Unlearning of Pre-trained Large Language Models
von: Yao, Jin, et al.
Veröffentlicht: (2024)

Combee: Scaling Prompt Learning for Self-Improving Language Model Agents
von: Li, Hanchen, et al.
Veröffentlicht: (2026)

Language Model Memory and Memory Models for Language
von: Badger, Benjamin L.
Veröffentlicht: (2026)

Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej
von: Nigam, Shubham Kumar, et al.
Veröffentlicht: (2025)

Improving Pre-trained Language Model Sensitivity via Mask Specific losses: A case study on Biomedical NER
von: Abaho, Micheal, et al.
Veröffentlicht: (2024)

CoLoR-Filter: Conditional Loss Reduction Filtering for Targeted Language Model Pre-training
von: Brandfonbrener, David, et al.
Veröffentlicht: (2024)

MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models
von: Zhang, Junyang, et al.
Veröffentlicht: (2025)

Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
von: Ozyurt, Yilmazcan, et al.
Veröffentlicht: (2023)

Aurora-M: Open Source Continual Pre-training for Multilingual Language and Code
von: Nakamura, Taishi, et al.
Veröffentlicht: (2024)

HGMEM: Hypergraph-based Working Memory to Improve Multi-step RAG for Long-Context Complex Relational Modeling
von: Zhou, Chulun, et al.
Veröffentlicht: (2025)

Universal In-Context Approximation By Prompting Fully Recurrent Models
von: Petrov, Aleksandar, et al.
Veröffentlicht: (2024)

Qalb: Largest State-of-the-Art Urdu Large Language Model for 230M Speakers with Systematic Continued Pre-training
von: Hassan, Muhammad Taimoor, et al.
Veröffentlicht: (2026)

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training
von: Zhuang, Yuchen, et al.
Veröffentlicht: (2025)

Retrieval-augmented Prompt Learning for Pre-trained Foundation Models
von: Chen, Xiang, et al.
Veröffentlicht: (2025)