Buchumschlag

From Unfamiliar to Familiar: Detecting Pre-training Data via Gradient Deviations in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Ruiqi, Wang, Lingxiang, Zhang, Hainan, Zheng, Zhiming, Lan, Yanyan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Robust Reasoning via Dynamic Token Selection for Distribution-Aligned Self-Distillation
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2026)

Detecting Stealthy Backdoor Samples based on Intra-class Distance for Large Language Models
von: Chen, Jinwen, et al.
Veröffentlicht: (2025)

AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models
von: Zhang, Qianchi, et al.
Veröffentlicht: (2024)

MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models
von: Wang, Yujing, et al.
Veröffentlicht: (2024)

Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models
von: Wang, Yujing, et al.
Veröffentlicht: (2025)

Enhancing Chain of Thought Prompting in Large Language Models via Reasoning Patterns
von: Zhang, Yufeng, et al.
Veröffentlicht: (2024)

Parameter Importance-Driven Continual Learning for Foundation Models
von: Wang, Lingxiang, et al.
Veröffentlicht: (2025)

Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens
von: Zhang, Anqi, et al.
Veröffentlicht: (2024)

FedDTRE: Federated Dialogue Generation Models Powered by Trustworthiness Evaluation
von: Lu, Shule, et al.
Veröffentlicht: (2025)

Stable-RAG: Mitigating Retrieval-Permutation-Induced Hallucinations in Retrieval-Augmented Generation
von: Zhang, Qianchi, et al.
Veröffentlicht: (2026)

OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration
von: Wang, Shaobo, et al.
Veröffentlicht: (2026)

Inside the Black Box: Detecting Data Leakage in Pre-trained Language Encoders
von: Xin, Yuan, et al.
Veröffentlicht: (2024)

FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models
von: Zhang, Zishuai, et al.
Veröffentlicht: (2025)

From Curated Data to Scalable Models: Continual Pre-training of Dense and MoE Large Language Models for Tibetan
von: Yang, Lei, et al.
Veröffentlicht: (2025)

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization
von: Zhang, Haode, et al.
Veröffentlicht: (2022)

Less is More: Compact Clue Selection for Efficient Retrieval-Augmented Generation Reasoning
von: Zhang, Qianchi, et al.
Veröffentlicht: (2025)

Probing Language Models for Pre-training Data Detection
von: Liu, Zhenhua, et al.
Veröffentlicht: (2024)

Masked Structural Growth for 2x Faster Language Model Pre-training
von: Yao, Yiqun, et al.
Veröffentlicht: (2023)

LocalSUG: City-Preference-Enhanced LLM for Query Suggestion in Local-Life Services
von: Chen, Jinwen, et al.
Veröffentlicht: (2026)

DataMan: Data Manager for Pre-training Large Language Models
von: Peng, Ru, et al.
Veröffentlicht: (2025)

HSF: Defending against Jailbreak Attacks with Hidden State Filtering
von: Qian, Cheng, et al.
Veröffentlicht: (2024)

DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning
von: Qian, Yanyu, et al.
Veröffentlicht: (2026)

Model Merging in Pre-training of Large Language Models
von: Li, Yunshui, et al.
Veröffentlicht: (2025)

Pre-trained Language Models and Few-shot Learning for Medical Entity Extraction
von: Wang, Xiaokai, et al.
Veröffentlicht: (2025)

Understanding Data Temporality Impact on Large Language Models Pre-training
von: Pilchen, Hippolyte, et al.
Veröffentlicht: (2026)

Synthesize-on-Graph: Knowledgeable Synthetic Data Generation for Continue Pre-training of Large Language Models
von: Ma, Shengjie, et al.
Veröffentlicht: (2025)

Measuring Stereotype and Deviation Biases in Large Language Models
von: Wang, Daniel, et al.
Veröffentlicht: (2025)

On The Origin of Cultural Biases in Language Models: From Pre-training Data to Linguistic Phenomena
von: Naous, Tarek, et al.
Veröffentlicht: (2025)

Unfamiliar Finetuning Examples Control How Language Models Hallucinate
von: Kang, Katie, et al.
Veröffentlicht: (2024)

CodeBC: A More Secure Large Language Model for Smart Contract Code Generation in Blockchain
von: Wang, Lingxiang, et al.
Veröffentlicht: (2025)

Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks
von: Shen, Chen, et al.
Veröffentlicht: (2026)

Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding
von: Wang, Cheng, et al.
Veröffentlicht: (2024)

Aligning the Spectrum: Hybrid Graph Pre-training and Prompt Tuning across Homophily and Heterophily
von: Luo, Haitong, et al.
Veröffentlicht: (2025)

Cross-layer Attention Sharing for Pre-trained Large Language Models
von: Mu, Yongyu, et al.
Veröffentlicht: (2024)

Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper
von: Ishihara, Shotaro, et al.
Veröffentlicht: (2024)

GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics
von: Wang, Yujing, et al.
Veröffentlicht: (2026)

Enhancing Text-to-SQL Capabilities of Large Language Models via Domain Database Knowledge Injection
von: Ma, Xingyu, et al.
Veröffentlicht: (2024)

An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training
von: Nie, Yuxiang, et al.
Veröffentlicht: (2025)

RegMix: Data Mixture as Regression for Language Model Pre-training
von: Liu, Qian, et al.
Veröffentlicht: (2024)

Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models
von: Zhuang, Xinlin, et al.
Veröffentlicht: (2025)