Buchumschlag

Mitigating Heterogeneous Token Overfitting in LLM Knowledge Editing

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Tianci, Li, Ruirui, Dong, Zihan, Liu, Hui, Tang, Xianfeng, Yin, Qingyu, Zhang, Linjun, Wang, Haoyu, Gao, Jing
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning
von: Liu, Tianci, et al.
Veröffentlicht: (2025)

RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains
von: Jiang, Haoxiang, et al.
Veröffentlicht: (2026)

Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training
von: Xu, Ran, et al.
Veröffentlicht: (2026)

LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models
von: Liu, Tianci, et al.
Veröffentlicht: (2024)

RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization
von: Liu, Tianci, et al.
Veröffentlicht: (2025)

PEANuT: Parameter-Efficient Adaptation with Weight-aware Neural Tweakers
von: Zhong, Yibo, et al.
Veröffentlicht: (2024)

RoseLoRA: Row and Column-wise Sparse Low-rank Adaptation of Pre-trained Language Model for Knowledge Editing and Fine-tuning
von: Wang, Haoyu, et al.
Veröffentlicht: (2024)

Not All Tokens Matter: Towards Efficient LLM Reasoning via Token Significance in Reinforcement Learning
von: Liu, Hanbing, et al.
Veröffentlicht: (2025)

Persuasion Tokens for Editing Factual Knowledge in LLMs
von: Youssef, Paul, et al.
Veröffentlicht: (2026)

A General Framework to Enhance Fine-tuning-based LLM Unlearning
von: Ren, Jie, et al.
Veröffentlicht: (2025)

Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
von: Zhu, Banghua, et al.
Veröffentlicht: (2024)

One Token to Fool LLM-as-a-Judge
von: Zhao, Yulai, et al.
Veröffentlicht: (2025)

Gradient-guided Attention Map Editing: Towards Efficient Contextual Hallucination Mitigation
von: Wang, Yu, et al.
Veröffentlicht: (2025)

Tokens for Learning, Tokens for Unlearning: Mitigating Membership Inference Attacks in Large Language Models via Dual-Purpose Training
von: Tran, Toan, et al.
Veröffentlicht: (2025)

Towards Universal Debiasing for Language Models-based Tabular Data Generation
von: Li, Tianchun, et al.
Veröffentlicht: (2025)

Mitigating the Language Mismatch and Repetition Issues in LLM-based Machine Translation via Model Editing
von: Wang, Weichuan, et al.
Veröffentlicht: (2024)

TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization
von: Fu, Lucheng, et al.
Veröffentlicht: (2026)

LLM Surgery: Efficient Knowledge Unlearning and Editing in Large Language Models
von: Veldanda, Akshaj Kumar, et al.
Veröffentlicht: (2024)

Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
von: Nguyen, Hieu, et al.
Veröffentlicht: (2025)

Large Language Models Lack Temporal Awareness of Medical Knowledge
von: Guan, Zihan, et al.
Veröffentlicht: (2026)

Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
von: Li, Jiang, et al.
Veröffentlicht: (2024)

REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing
von: Zhong, Haitian, et al.
Veröffentlicht: (2025)

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
von: Sreenivas, Sharath Turuvekere, et al.
Veröffentlicht: (2026)

HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
von: Wang, Weiqi, et al.
Veröffentlicht: (2026)

Towards Mitigating Architecture Overfitting on Distilled Datasets
von: Zhong, Xuyang, et al.
Veröffentlicht: (2023)

Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization
von: Song, Guanghui, et al.
Veröffentlicht: (2025)

Enhancing LLM Tool Use with High-quality Instruction Data from Knowledge Graph
von: Wang, Jingwei, et al.
Veröffentlicht: (2025)

Model Merging for Knowledge Editing
von: Fu, Zichuan, et al.
Veröffentlicht: (2025)

AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play
von: Xu, Ran, et al.
Veröffentlicht: (2025)

Translating Expert Intuition into Quantifiable Features: Encode Investigator Domain Knowledge via LLM for Enhanced Predictive Analytics
von: Jing, Phoebe, et al.
Veröffentlicht: (2024)

Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs
von: Liu, Jinzhe, et al.
Veröffentlicht: (2025)

Self-Consolidating Language Models: Continual Knowledge Incorporation from Context
von: Wang, Zekun, et al.
Veröffentlicht: (2026)

Understanding and Mitigating Errors of LLM-Generated RTL Code
von: Zhang, Jiazheng, et al.
Veröffentlicht: (2025)

Efficient Temporal Tokenization for Mobility Prediction with Large Language Models
von: He, Haoyu, et al.
Veröffentlicht: (2025)

Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
von: Shu, Dong, et al.
Veröffentlicht: (2024)

A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens
von: Dobre, David, et al.
Veröffentlicht: (2025)

Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective
von: Zeng, Shenglai, et al.
Veröffentlicht: (2024)

Knowledge Editing on Black-box Large Language Models
von: Song, Xiaoshuai, et al.
Veröffentlicht: (2024)

Efficient Mathematical Reasoning Models via Dynamic Pruning and Knowledge Distillation
von: Yu, Fengming, et al.
Veröffentlicht: (2025)

Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
von: Gong, Zixuan, et al.
Veröffentlicht: (2025)