Buchumschlag

Understanding Memorisation in LLMs: Dynamics, Influencing Factors, and Implications

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Speicher, Till, Khan, Mohammad Aflah, Wu, Qinyuan, Nanda, Vedant, Das, Soumi, Ghosh, Bishwamittra, Gummadi, Krishna P., Terzi, Evimaria
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction
von: Wu, Qinyuan, et al.
Veröffentlicht: (2024)

Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective
von: Ghosh, Bishwamittra, et al.
Veröffentlicht: (2026)

Rethinking Memorization Measures and their Implications in Large Language Models
von: Ghosh, Bishwamittra, et al.
Veröffentlicht: (2025)

Rote Learning Considered Useful: Generalizing over Memorized Data in LLMs
von: Wu, Qinyuan, et al.
Veröffentlicht: (2025)

Revisiting Privacy, Utility, and Efficiency Trade-offs when Fine-Tuning Large Language Models
von: Das, Soumi, et al.
Veröffentlicht: (2025)

In Agents We Trust, but Who Do Agents Trust? Latent Source Preferences Steer LLM Generations
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2026)

Understanding the Role of Invariance in Transfer Learning
von: Speicher, Till, et al.
Veröffentlicht: (2024)

Investigating the Effects of Fairness Interventions Using Pointwise Representational Similarity
von: Kolling, Camila, et al.
Veröffentlicht: (2023)

Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2026)

Testing the Limits of Truth Directions in LLMs
von: Poulis, Angelos, et al.
Veröffentlicht: (2026)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

TokenSmith: Streamlining Data Editing, Search, and Inspection for Large-Scale Language Model Training and Interpretability
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2025)

QUENCH: Measuring the gap between Indic and Non-Indic Contextual General Reasoning in LLMs
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2024)

Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks
von: Dankers, Verna, et al.
Veröffentlicht: (2024)

Understanding team collapse via probabilistic graphical models
von: Nikolaou, Iasonas, et al.
Veröffentlicht: (2024)

Logical Consistency of Large Language Models in Fact-checking
von: Ghosh, Bishwamittra, et al.
Veröffentlicht: (2024)

Computing Approximate Pareto Frontiers for Submodular Utility and Cost Tradeoffs
von: Vombatkere, Karan, et al.
Veröffentlicht: (2026)

Team Formation amidst Conflicts
von: Nikolaou, Iasonas, et al.
Veröffentlicht: (2024)

Probing Critical Learning Dynamics of PLMs for Hate Speech Detection
von: Masud, Sarah, et al.
Veröffentlicht: (2024)

Hubble: a Model Suite to Advance the Study of LLM Memorization
von: Wei, Johnny Tian-Zheng, et al.
Veröffentlicht: (2025)

Lawma: The Power of Specialization for Legal Annotation
von: Dominguez-Olmedo, Ricardo, et al.
Veröffentlicht: (2024)

The Impact of Inference Acceleration on Bias of LLMs
von: Kirsten, Elisabeth, et al.
Veröffentlicht: (2024)

Forming Coordinated Teams that Balance Task Coverage and Expert Workload
von: Vombatkere, Karan, et al.
Veröffentlicht: (2025)

A QUBO Framework for Team Formation
von: Vombatkere, Karan, et al.
Veröffentlicht: (2025)

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling
von: Wu, Qinyuan, et al.
Veröffentlicht: (2026)

Early Detection and Reduction of Memorisation for Domain Adaptation and Instruction Tuning
von: Slack, Dean L., et al.
Veröffentlicht: (2025)

The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT
von: Dash, Abhisek, et al.
Veröffentlicht: (2026)

Online Two-Stage Submodular Maximization
von: Nikolaou, Iasonas, et al.
Veröffentlicht: (2025)

FACEGroup: Feasible and Actionable Counterfactual Explanations for Group Fairness
von: Fragkathoulas, Christos, et al.
Veröffentlicht: (2024)

TUX: Measuring Human--AI Tacit Understanding
von: Li, Yueshen, et al.
Veröffentlicht: (2026)

Can LLMs Understand the Implication of Emphasized Sentences in Dialogue?
von: Lin, Guan-Ting, et al.
Veröffentlicht: (2024)

Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
von: Pandya, Vedant
Veröffentlicht: (2026)

Sponsored is the New Organic: Implications of Sponsored Results on Quality of Search Results in the Amazon Marketplace
von: Dash, Abhisek, et al.
Veröffentlicht: (2024)

Summing Up the Facts: Additive Mechanisms Behind Factual Recall in LLMs
von: Chughtai, Bilal, et al.
Veröffentlicht: (2024)

Improving LLM Final Representations with Inter-Layer Geometry
von: Ulanovski, Tom, et al.
Veröffentlicht: (2026)

Breaking Bad Tokens: Detoxification of LLMs Using Sparse Autoencoders
von: Goyal, Agam, et al.
Veröffentlicht: (2025)

Evaluating Small Language Models for News Summarization: Implications and Factors Influencing Performance
von: Xu, Borui, et al.
Veröffentlicht: (2025)

Dynamic and Generalizable Process Reward Modeling
von: Yin, Zhangyue, et al.
Veröffentlicht: (2025)

Online Submodular Maximization via Online Convex Optimization
von: Salem, Tareq Si, et al.
Veröffentlicht: (2023)

VayuChat: An LLM-Powered Conversational Interface for Air Quality Data Analytics
von: Acharya, Vedant, et al.
Veröffentlicht: (2025)