Buchumschlag

Deciphering the Impact of Pretraining Data on Large Language Models through Machine Unlearning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Yang, Du, Li, Ding, Xiao, Xiong, Kai, Sun, Zhouhao, Shi, Jun, Liu, Ting, Qin, Bing
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Large Language Models Are Still Misled by Simple Bias Ensembles
von: Sun, Zhouhao, et al.
Veröffentlicht: (2025)

Causal-Guided Active Learning for Debiasing Large Language Models
von: Du, Li, et al.
Veröffentlicht: (2024)

Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models
von: Sun, Zhouhao, et al.
Veröffentlicht: (2025)

Towards Generalizable and Faithful Logic Reasoning over Natural Language via Resolution Refutation
von: Sun, Zhouhao, et al.
Veröffentlicht: (2024)

Self-Route: Automatic Mode Switching via Capability Estimation for Efficient Reasoning
von: He, Yang, et al.
Veröffentlicht: (2025)

Examining Inter-Consistency of Large Language Models Collaboration: An In-depth Analysis via Debate
von: Xiong, Kai, et al.
Veröffentlicht: (2023)

UFO-RL: Uncertainty-Focused Optimization for Efficient Reinforcement Learning Data Selection
von: Zhao, Yang, et al.
Veröffentlicht: (2025)

Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection
von: Zhao, Yang, et al.
Veröffentlicht: (2025)

MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization
von: Zhao, Yang, et al.
Veröffentlicht: (2026)

Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns
von: Zhao, Yang, et al.
Veröffentlicht: (2024)

GR-Ben: A General Reasoning Benchmark for Evaluating Process Reward Models
von: Sun, Zhouhao, et al.
Veröffentlicht: (2026)

Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance
von: Xiong, Kai, et al.
Veröffentlicht: (2024)

RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models
von: Wang, Bichen, et al.
Veröffentlicht: (2024)

Towards Safer Large Language Models through Machine Unlearning
von: Liu, Zheyuan, et al.
Veröffentlicht: (2024)

Com$^2$: A Causal-Guided Benchmark for Exploring Complex Commonsense Reasoning in Large Language Models
von: Xiong, Kai, et al.
Veröffentlicht: (2025)

Machine Unlearning in Large Language Models
von: Gundavarapu, Saaketh Koundinya, et al.
Veröffentlicht: (2024)

Rethinking Machine Unlearning for Large Language Models
von: Liu, Sijia, et al.
Veröffentlicht: (2024)

A Survey on Unlearning in Large Language Models
von: Qiu, Ruichen, et al.
Veröffentlicht: (2025)

A Closer Look at Machine Unlearning for Large Language Models
von: Yuan, Xiaojian, et al.
Veröffentlicht: (2024)

Machine Unlearning of Pre-trained Large Language Models
von: Yao, Jin, et al.
Veröffentlicht: (2024)

OBLIVIATE: Robust and Practical Machine Unlearning for Large Language Models
von: Xu, Xiaoyu, et al.
Veröffentlicht: (2025)

Diagnosing and Remedying Knowledge Deficiencies in LLMs via Label-free Curricular Meaningful Learning
von: Xiong, Kai, et al.
Veröffentlicht: (2024)

Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis
von: Ma, Weitao, et al.
Veröffentlicht: (2024)

Data Mixing for Large Language Models Pretraining: A Survey and Outlook
von: Chen, Zhuo, et al.
Veröffentlicht: (2026)

Large Language Model Agents Are Not Always Faithful Self-Evolvers
von: Zhao, Weixiang, et al.
Veröffentlicht: (2026)

Text Difficulty Study: Do machines behave the same as humans regarding text difficulty?
von: Chen, Bowen, et al.
Veröffentlicht: (2022)

Chain of Strategy Optimization Makes Large Language Models Better Emotional Supporter
von: Zhao, Weixiang, et al.
Veröffentlicht: (2025)

Detecting Pretraining Data from Large Language Models
von: Shi, Weijia, et al.
Veröffentlicht: (2023)

Large Language Model Unlearning
von: Yao, Yuanshun, et al.
Veröffentlicht: (2023)

Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration
von: Zhao, Yang, et al.
Veröffentlicht: (2026)

Multilingual Language Model Pretraining using Machine-translated Data
von: Wang, Jiayi, et al.
Veröffentlicht: (2025)

Avoiding Copyright Infringement via Large Language Model Unlearning
von: Dou, Guangyao, et al.
Veröffentlicht: (2024)

MUSE: Machine Unlearning Six-Way Evaluation for Language Models
von: Shi, Weijia, et al.
Veröffentlicht: (2024)

DeepTool: Scaling Interleaved Deliberation in Tool-Integrated Reasoning via Process-Supervised Reinforcement Learning
von: He, Yang, et al.
Veröffentlicht: (2026)

Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning
von: Wan, Yixin, et al.
Veröffentlicht: (2025)

FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data
von: Sun, Haoran, et al.
Veröffentlicht: (2024)

Temporal Entailment Pretraining for Clinical Language Models over EHR Data
von: Tanaka, Tatsunori, et al.
Veröffentlicht: (2025)

From Artificially Real to Real: Leveraging Pseudo Data from Large Language Models for Low-Resource Molecule Discovery
von: Chen, Yuhan, et al.
Veröffentlicht: (2023)

CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization
von: Li, Junyi, et al.
Veröffentlicht: (2026)

LLM Surgery: Efficient Knowledge Unlearning and Editing in Large Language Models
von: Veldanda, Akshaj Kumar, et al.
Veröffentlicht: (2024)