Collapse of Irrelevant Representations (CIR) Ensures Robust and Non-Disruptive LLM Unlearning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sondej, Filip, Yang, Yushi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization
von: Sondej, Filip, et al.
Veröffentlicht: (2025)

How Is LLM Reasoning Distracted by Irrelevant Context? An Analysis Using a Controlled Benchmark
von: Yang, Minglai, et al.
Veröffentlicht: (2025)

How Does DPO Reduce Toxicity? A Mechanistic Neuron-Level Analysis
von: Yang, Yushi, et al.
Veröffentlicht: (2024)

Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2024)

Explainable LLM Unlearning Through Reasoning
von: Liao, Junfeng, et al.
Veröffentlicht: (2026)

Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences
von: Ghoshal, Asish, et al.
Veröffentlicht: (2022)

LLM Unlearning Without an Expert Curated Dataset
von: Zhu, Xiaoyuan, et al.
Veröffentlicht: (2025)

LLM Unlearning via Loss Adjustment with Only Forget Data
von: Wang, Yaxuan, et al.
Veröffentlicht: (2024)

IPAD: Inverse Prompt for AI Detection - A Robust and Interpretable LLM-Generated Text Detector
von: Chen, Zheng, et al.
Veröffentlicht: (2025)

DRAGON: Guard LLM Unlearning in Context via Negative Detection and Reasoning
von: Wang, Yaxuan, et al.
Veröffentlicht: (2025)

Measuring the Depth of LLM Unlearning via Activation Patching
von: Lee, Jaeung, et al.
Veröffentlicht: (2026)

Scaling with Collapse: Efficient and Predictable Training of LLM Families
von: Bergsma, Shane, et al.
Veröffentlicht: (2025)

CURE: Controlled Unlearning for Robust Embeddings -- Mitigating Conceptual Shortcuts in Pre-Trained Language Models
von: Kocak, Aysenur, et al.
Veröffentlicht: (2025)

Reveal and Release: Iterative LLM Unlearning with Self-generated Data
von: Xie, Linxi, et al.
Veröffentlicht: (2025)

Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning
von: Fan, Chongyu, et al.
Veröffentlicht: (2024)

ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models
von: Lin, Yujie, et al.
Veröffentlicht: (2026)

Large Language Models Badly Generalize across Option Length, Problem Types, and Irrelevant Noun Replacements
von: Zhao, Guangxiang, et al.
Veröffentlicht: (2025)

Input-Time Scaling: Adding Noise and Irrelevance into Less-Is-More Drastically Improves Reasoning Performance and Efficiency
von: Huang, Rapheal, et al.
Veröffentlicht: (2025)

Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM
von: Wu, Xiaoyu, et al.
Veröffentlicht: (2025)

Can sparse autoencoders be used to decompose and interpret steering vectors?
von: Mayne, Harry, et al.
Veröffentlicht: (2024)

Large Language Model Unlearning
von: Yao, Yuanshun, et al.
Veröffentlicht: (2023)

LLM Surgery: Efficient Knowledge Unlearning and Editing in Large Language Models
von: Veldanda, Akshaj Kumar, et al.
Veröffentlicht: (2024)

Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models
von: Yuan, Hongbang, et al.
Veröffentlicht: (2024)

Geometric-disentangelment Unlearning
von: Zhou, Duo, et al.
Veröffentlicht: (2025)

CURE:Circuit-Aware Unlearning for LLM-based Recommendation
von: Chen, Ziheng, et al.
Veröffentlicht: (2026)

Hierarchical Federated Unlearning for Large Language Models
von: Zhong, Yisheng, et al.
Veröffentlicht: (2025)

LLM Unlearning Reveals a Stronger-Than-Expected Coreset Effect in Current Benchmarks
von: Pal, Soumyadeep, et al.
Veröffentlicht: (2025)

Towards Robust Evaluation of Unlearning in LLMs via Data Transformations
von: Joshi, Abhinav, et al.
Veröffentlicht: (2024)

Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models
von: Tang, Haoyu, et al.
Veröffentlicht: (2024)

From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization
von: Zhou, Chenxi, et al.
Veröffentlicht: (2026)

Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs
von: Kadhe, Swanand Ravindra, et al.
Veröffentlicht: (2024)

How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective
von: Qiu, Xinchi, et al.
Veröffentlicht: (2024)

Large Language Model Unlearning via Embedding-Corrupted Prompts
von: Liu, Chris Yuhao, et al.
Veröffentlicht: (2024)

AdvAnchor: Enhancing Diffusion Model Unlearning with Adversarial Anchors
von: Zhao, Mengnan, et al.
Veröffentlicht: (2024)

A Neuro-inspired Interpretation of Unlearning in Large Language Models through Sample-level Unlearning Difficulty
von: Feng, Xiaohua, et al.
Veröffentlicht: (2025)

Taming Sensitive Weights : Noise Perturbation Fine-tuning for Robust LLM Quantization
von: Wang, Dongwei, et al.
Veröffentlicht: (2024)

Adaptive-Boundary-Clipping GRPO: Ensuring Bounded Ratios for Stable and Generalizable Training
von: Liu, Chi, et al.
Veröffentlicht: (2026)

Tool Unlearning for Tool-Augmented LLMs
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

EvoMU: Evolutionary Machine Unlearning
von: Batorski, Pawel, et al.
Veröffentlicht: (2026)

Offset Unlearning for Large Language Models
von: Huang, James Y., et al.
Veröffentlicht: (2024)