Buchumschlag

Demystifying Language Model Forgetting with Low-rank Example Associations

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jin, Xisen, Ren, Xiang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement
von: Jin, Xisen, et al.
Veröffentlicht: (2024)

Dataless Knowledge Fusion by Merging Weights of Language Models
von: Jin, Xisen, et al.
Veröffentlicht: (2022)

Learning and Forgetting Unsafe Examples in Large Language Models
von: Zhao, Jiachen, et al.
Veröffentlicht: (2023)

Demystifying Verbatim Memorization in Large Language Models
von: Huang, Jing, et al.
Veröffentlicht: (2024)

Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees
von: Soarez, Alberlucia Rafael, et al.
Veröffentlicht: (2026)

Demystifying OPD: Length Inflation and Stabilization Strategies for Large Language Models
von: Luo, Feng, et al.
Veröffentlicht: (2026)

Demystifying Long Chain-of-Thought Reasoning in LLMs
von: Yeo, Edward, et al.
Veröffentlicht: (2025)

Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models
von: Moar, Chakshu, et al.
Veröffentlicht: (2024)

Demystifying Embedding Spaces using Large Language Models
von: Tennenholtz, Guy, et al.
Veröffentlicht: (2023)

Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations
von: Xie, Zhihui, et al.
Veröffentlicht: (2024)

Understanding Catastrophic Forgetting in Language Models via Implicit Inference
von: Kotha, Suhas, et al.
Veröffentlicht: (2023)

Graceful Forgetting in Generative Language Models
von: Jiang, Chunyang, et al.
Veröffentlicht: (2025)

Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models
von: Li, Zhaoyi, et al.
Veröffentlicht: (2026)

Elephants Never Forget: Testing Language Models for Memorization of Tabular Data
von: Bordt, Sebastian, et al.
Veröffentlicht: (2024)

Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models
von: Wang, Huazheng, et al.
Veröffentlicht: (2025)

LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning
von: Guo, Han, et al.
Veröffentlicht: (2023)

Demystifying and Enhancing the Efficiency of Large Language Model Based Search Agents
von: Yang, Tiannuo, et al.
Veröffentlicht: (2025)

Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence
von: Yang, Yibo, et al.
Veröffentlicht: (2025)

Unveiling and Addressing Pseudo Forgetting in Large Language Models
von: Sun, Huashan, et al.
Veröffentlicht: (2024)

Offline Learning and Forgetting for Reasoning with Large Language Models
von: Ni, Tianwei, et al.
Veröffentlicht: (2025)

Mapping Post-Training Forgetting in Language Models at Scale
von: Harmon, Jackson, et al.
Veröffentlicht: (2025)

Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts
von: Shashank
Veröffentlicht: (2026)

Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning
von: Gupta, Prakhar, et al.
Veröffentlicht: (2026)

Forgetting to Forget: Attention Sink as A Gateway for Backdooring LLM Unlearning
von: Shang, Bingqi, et al.
Veröffentlicht: (2025)

Reinforcement Learning for Reasoning in Large Language Models with One Training Example
von: Wang, Yiping, et al.
Veröffentlicht: (2025)

A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models
von: Tuan, Yi-Lin, et al.
Veröffentlicht: (2024)

Demystifying When Pruning Works via Representation Hierarchies
von: He, Shwai, et al.
Veröffentlicht: (2026)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
von: Chen, Zhipeng, et al.
Veröffentlicht: (2026)

RULE: Reinforcement UnLEarning Achieves Forget-Retain Pareto Optimality
von: Zhang, Chenlong, et al.
Veröffentlicht: (2025)

Compact Example-Based Explanations for Language Models
von: Schoenegger, Loris, et al.
Veröffentlicht: (2026)

Improving Language Plasticity via Pretraining with Active Forgetting
von: Chen, Yihong, et al.
Veröffentlicht: (2023)

Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models
von: Bordt, Sebastian, et al.
Veröffentlicht: (2024)

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning
von: Feng, Yujie, et al.
Veröffentlicht: (2026)

Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning
von: Ren, Weijieying, et al.
Veröffentlicht: (2024)

Unfamiliar Finetuning Examples Control How Language Models Hallucinate
von: Kang, Katie, et al.
Veröffentlicht: (2024)

SCALPEL: Selective Capability Ablation via Low-rank Parameter Editing for Large Language Model Interpretability Analysis
von: Fu, Zihao, et al.
Veröffentlicht: (2026)

Low-Cost Generation and Evaluation of Dictionary Example Sentences
von: Cai, Bill, et al.
Veröffentlicht: (2024)

Generating Synthetic Free-text Medical Records with Low Re-identification Risk using Masked Language Modeling
von: Belkadi, Samuel, et al.
Veröffentlicht: (2024)

Forgetting Transformer: Softmax Attention with a Forget Gate
von: Lin, Zhixuan, et al.
Veröffentlicht: (2025)

BAPO: Base-Anchored Preference Optimization for Overcoming Forgetting in Large Language Models Personalization
von: Lee, Gihun, et al.
Veröffentlicht: (2024)