Buchumschlag

Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hoang, Duc N. M, Cho, Minsik, Merth, Thomas, Rastegari, Mohammad, Wang, Zhangyang
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
von: Fu, Qichen, et al.
Veröffentlicht: (2024)

Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation
von: Merth, Thomas, et al.
Veröffentlicht: (2024)

KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation
von: Cho, Minsik, et al.
Veröffentlicht: (2024)

SpecMD: A Comprehensive Study On Speculative Expert Prefetching
von: Hoang, Duc, et al.
Veröffentlicht: (2026)

TIDE: Every Layer Knows the Token Beneath the Context
von: Jaiswal, Ajay, et al.
Veröffentlicht: (2026)

LLM in a flash: Efficient Large Language Model Inference with Limited Memory
von: Alizadeh, Keivan, et al.
Veröffentlicht: (2023)

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression
von: Hong, Junyuan, et al.
Veröffentlicht: (2024)

SPD: Sync-Point Drop for Efficient Tensor Parallelism of Large Language Models
von: Kim, Han-Byul, et al.
Veröffentlicht: (2025)

Template-assisted Contrastive Learning of Task-oriented Dialogue Sentence Embeddings
von: Oh, Minsik, et al.
Veröffentlicht: (2023)

Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
von: Liu, Chi, et al.
Veröffentlicht: (2026)

Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context
von: Alizadeh, Keivan, et al.
Veröffentlicht: (2026)

MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE
von: Zibakhsh, Soheil, et al.
Veröffentlicht: (2025)

Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows
von: Dickson, Billy, et al.
Veröffentlicht: (2025)

LLMs Can Get "Brain Rot": A Pilot Study on Twitter/X
von: Xing, Shuo, et al.
Veröffentlicht: (2025)

Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models
von: Cao, Boxi, et al.
Veröffentlicht: (2023)

Learning is Forgetting: LLM Training As Lossy Compression
von: Conklin, Henry C., et al.
Veröffentlicht: (2026)

To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models
von: Tian, Bozhong, et al.
Veröffentlicht: (2024)

Do Self-Evolving Agents Forget? Capability Degradation and Preservation in Lifelong LLM Agent Adaptation
von: Yu, Ye, et al.
Veröffentlicht: (2026)

KV Prediction for Improved Time to First Token
von: Horton, Maxwell, et al.
Veröffentlicht: (2024)

Evolutionary Strategies lead to Catastrophic Forgetting in LLMs
von: Abdi, Immanuel, et al.
Veröffentlicht: (2026)

Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting
von: Hong, Yijie, et al.
Veröffentlicht: (2025)

Speculative Streaming: Fast LLM Inference without Auxiliary Models
von: Bhendawade, Nikhil, et al.
Veröffentlicht: (2024)

FaithUn: Toward Faithful Forgetting in Language Models by Investigating the Interconnectedness of Knowledge
von: Yang, Nakyeong, et al.
Veröffentlicht: (2025)

MedMeta: A Benchmark for LLMs in Synthesizing Meta-Analysis Conclusion from Medical Studies
von: Ha, Huy Hoang, et al.
Veröffentlicht: (2026)

Do LLMs Triage Like Clinicians? A Dynamic Study of Outpatient Referral
von: Liu, Xiaoxiao, et al.
Veröffentlicht: (2025)

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
von: Samragh, Mohammad, et al.
Veröffentlicht: (2024)

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
von: Yamaguchi, Atsuki, et al.
Veröffentlicht: (2025)

Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks
von: Pan, Wenbo, et al.
Veröffentlicht: (2025)

PICKT: Practical Interlinked Concept Knowledge Tracing for Personalized Learning using Knowledge Map Concept Relations
von: Lee, Wonbeen, et al.
Veröffentlicht: (2025)

Forget What You Know about LLMs Evaluations -- LLMs are Like a Chameleon
von: Cohen-Inger, Nurit, et al.
Veröffentlicht: (2025)

Wings: Learning Multimodal LLMs without Text-only Forgetting
von: Zhang, Yi-Kai, et al.
Veröffentlicht: (2024)

Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark
von: Choi, Minje, et al.
Veröffentlicht: (2023)

TokenSkip: Controllable Chain-of-Thought Compression in LLMs
von: Xia, Heming, et al.
Veröffentlicht: (2025)

How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization
von: Song, Shezheng, et al.
Veröffentlicht: (2025)

Who's Who: Large Language Models Meet Knowledge Conflicts in Practice
von: Pham, Quang Hieu, et al.
Veröffentlicht: (2024)

Do LLMs Dream of Ontologies?
von: Bombieri, Marco, et al.
Veröffentlicht: (2024)

A Dual-Axis Taxonomy of Knowledge Editing for LLMs: From Mechanisms to Functions
von: Salehoof, Amir Mohammad, et al.
Veröffentlicht: (2025)

Unable to Forget: Proactive Interference Reveals Working Memory Limits in LLMs Beyond Context Length
von: Wang, Chupei, et al.
Veröffentlicht: (2025)

Transformers Remember First, Forget Last: Dual-Process Interference in LLMs
von: Chattaraj, Sourav, et al.
Veröffentlicht: (2026)

How Do LLMs Use Their Depth?
von: Gupta, Akshat, et al.
Veröffentlicht: (2025)