Buchumschlag

The Curse of Popularity: Popular Entities have Catastrophic Side Effects when Deleting Knowledge from Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Takahashi, Ryosuke, Kamoda, Go, Heinzerling, Benjamin, Sakaguchi, Keisuke, Inui, Kentaro
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can Language Models Handle a Non-Gregorian Calendar? The Case of the Japanese wareki
von: Sasaki, Mutsumi, et al.
Veröffentlicht: (2025)

Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference
von: Kamoda, Go, et al.
Veröffentlicht: (2025)

TopK Language Models
von: Takahashi, Ryosuke, et al.
Veröffentlicht: (2025)

Monotonic Representation of Numeric Properties in Language Models
von: Heinzerling, Benjamin, et al.
Veröffentlicht: (2024)

On Entity Identification in Language Models
von: Sakata, Masaki, et al.
Veröffentlicht: (2025)

ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation
von: Brassard, Ana, et al.
Veröffentlicht: (2024)

Representational Analysis of Binding in Language Models
von: Dai, Qin, et al.
Veröffentlicht: (2024)

Cell-Based Representation of Relational Binding in Language Models
von: Dai, Qin, et al.
Veröffentlicht: (2026)

Understanding Fact Recall in Language Models: Why Two-Stage Training Encourages Memorization but Mixed Training Teaches Knowledge
von: Zhang, Ying, et al.
Veröffentlicht: (2025)

How a Bilingual LM Becomes Bilingual: Tracing Internal Representations with Sparse Autoencoders
von: Inaba, Tatsuro, et al.
Veröffentlicht: (2025)

Linear Representations of Hierarchical Concepts in Language Models
von: Sakata, Masaki, et al.
Veröffentlicht: (2026)

J-UniMorph: Japanese Morphological Annotation through the Universal Feature Schema
von: Matsuzaki, Kosuke, et al.
Veröffentlicht: (2024)

The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces
von: El-Shangiti, Ahmed Oumar, et al.
Veröffentlicht: (2024)

FinchGPT: a Transformer based language model for birdsong analysis
von: Kobayashi, Kosei, et al.
Veröffentlicht: (2025)

First Heuristic Then Rational: Dynamic Use of Heuristics in Language Model Reasoning
von: Aoki, Yoichi, et al.
Veröffentlicht: (2024)

Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models
von: Yoshida, Haruto, et al.
Veröffentlicht: (2026)

Hidden Failures in Robustness: Why Supervised Uncertainty Quantification Needs Better Evaluation
von: Stacey, Joe, et al.
Veröffentlicht: (2026)

Repetition Neurons: How Do Language Models Produce Repetitions?
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2024)

Annotating Errors in English Learners' Written Language Production: Advancing Automated Written Feedback Systems
von: Coyne, Steven, et al.
Veröffentlicht: (2025)

RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
von: Nwadike, Munachiso, et al.
Veröffentlicht: (2025)

Unlocking Prompt Infilling Capability for Diffusion Language Models
von: Fujinuma, Yoshinari, et al.
Veröffentlicht: (2026)

LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics
von: Kudo, Keito, et al.
Veröffentlicht: (2024)

Spelling-out is not Straightforward: LLMs' Capability of Tokenization from Token to Characters
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2025)

Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
von: Ozaki, Shintaro, et al.
Veröffentlicht: (2025)

Syntactic Learnability of Echo State Neural Language Models at Scale
von: Ueda, Ryo, et al.
Veröffentlicht: (2025)

DiffER: Diffusion Entity-Relation Modeling for Reversal Curse in Diffusion Large Language Models
von: He, Shaokai, et al.
Veröffentlicht: (2026)

RealTime QA: What's the Answer Right Now?
von: Kasai, Jungo, et al.
Veröffentlicht: (2022)

Large Language Models Are Human-Like Internally
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2025)

How Knowledge Popularity Influences and Enhances LLM Knowledge Boundary Perception
von: Ni, Shiyu, et al.
Veröffentlicht: (2025)

Rectifying Belief Space via Unlearning to Harness LLMs' Reasoning
von: Niwa, Ayana, et al.
Veröffentlicht: (2025)

Pretraining Exposure Explains Popularity Judgments in Large Language Models
von: Mozafari, Jamshid, et al.
Veröffentlicht: (2026)

A Large Collection of Model-generated Contradictory Responses for Consistency-aware Dialogue Systems
von: Sato, Shiki, et al.
Veröffentlicht: (2024)

How Individual Traits and Language Styles Shape Preferences In Open-ended User-LLM Interaction: A Preliminary Study
von: Chevi, Rendi, et al.
Veröffentlicht: (2025)

Emergence of Primacy and Recency Effect in Mamba: A Mechanistic Point of View
von: Airlangga, Muhammad Cendekia, et al.
Veröffentlicht: (2025)

Understanding and Controlling Repetition Neurons and Induction Heads in In-Context Learning
von: Doan, Nhi Hoai, et al.
Veröffentlicht: (2025)

Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge
von: Soudani, Heydar, et al.
Veröffentlicht: (2024)

Multilingual Large Language Models and Curse of Multilinguality
von: Gurgurov, Daniil, et al.
Veröffentlicht: (2024)

SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches
von: Deguchi, Hiroyuki, et al.
Veröffentlicht: (2025)

Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps
von: Kobayashi, Goro, et al.
Veröffentlicht: (2023)

PopALM: Popularity-Aligned Language Models for Social Media Trendy Response Prediction
von: Yu, Erxin, et al.
Veröffentlicht: (2024)