Buchumschlag

Benign Samples Matter! Fine-tuning On Outlier Benign Samples Severely Breaks Safety

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guan, Zihan, Hu, Mengxuan, Zhu, Ronghang, Li, Sheng, Vullikanti, Anil
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

UFID: A Unified Framework for Input-level Backdoor Detection on Diffusion Models
von: Guan, Zihan, et al.
Veröffentlicht: (2024)

Are LLMs Ready for Neural-integrated Mechanistic Modeling? A Benchmark and Agentic Framework
von: Guan, Zihan, et al.
Veröffentlicht: (2026)

Outlier-weighed Layerwise Sampling for LLM Fine-tuning
von: Li, Pengxiang, et al.
Veröffentlicht: (2024)

Large Language Models Lack Temporal Awareness of Medical Knowledge
von: Guan, Zihan, et al.
Veröffentlicht: (2026)

What is in Your Safe Data? Identifying Benign Data that Breaks Safety
von: He, Luxi, et al.
Veröffentlicht: (2024)

What Makes and Breaks Safety Fine-tuning? A Mechanistic Study
von: Jain, Samyak, et al.
Veröffentlicht: (2024)

Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams
von: Garcia, Cristiano Mesquita, et al.
Veröffentlicht: (2024)

No Free Lunch: Retrieval-Augmented Generation Undermines Fairness in LLMs, Even for Vigilant Users
von: Hu, Mengxuan, et al.
Veröffentlicht: (2024)

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs
von: Zhou, Huichi, et al.
Veröffentlicht: (2025)

GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
von: Tian, Kaiyuan, et al.
Veröffentlicht: (2026)

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
von: Huang, Zeyu, et al.
Veröffentlicht: (2025)

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models
von: Yao, Kai, et al.
Veröffentlicht: (2024)

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
von: Wang, Guoli, et al.
Veröffentlicht: (2026)

RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization
von: Huang, Xijie, et al.
Veröffentlicht: (2024)

Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets
von: Hsiung, Lei, et al.
Veröffentlicht: (2025)

Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
von: Jan, Essa, et al.
Veröffentlicht: (2024)

Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models
von: Goel, Anmol, et al.
Veröffentlicht: (2026)

Advancing Parameter Efficiency in Fine-tuning via Representation Editing
von: Wu, Muling, et al.
Veröffentlicht: (2024)

Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
von: Vennemeyer, Daniel, et al.
Veröffentlicht: (2026)

PMSS: Pretrained Matrices Skeleton Selection for LLM Fine-tuning
von: Wang, Qibin, et al.
Veröffentlicht: (2024)

SEE: Continual Fine-tuning with Sequential Ensemble of Experts
von: Wang, Zhilin, et al.
Veröffentlicht: (2025)

CFSafety: Comprehensive Fine-grained Safety Assessment for LLMs
von: Liu, Zhihao, et al.
Veröffentlicht: (2024)

Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
von: Chen, Pin-Yu, et al.
Veröffentlicht: (2025)

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning
von: Lee, Yu-Ang, et al.
Veröffentlicht: (2026)

Efficient Ensemble for Fine-tuning Language Models on Multiple Datasets
von: Li, Dongyue, et al.
Veröffentlicht: (2025)

LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning
von: Perin, Gabriel J., et al.
Veröffentlicht: (2025)

SEAL: Safety-enhanced Aligned LLM Fine-tuning via Bilevel Data Selection
von: Shen, Han, et al.
Veröffentlicht: (2024)

A Classical View on Benign Overfitting: The Role of Sample Size
von: Park, Junhyung, et al.
Veröffentlicht: (2025)

REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy
von: Chang, Haw-Shiuan, et al.
Veröffentlicht: (2024)

Vaccine: Perturbation-aware Alignment for Large Language Models against Harmful Fine-tuning Attack
von: Huang, Tiansheng, et al.
Veröffentlicht: (2024)

CoMoE: Contrastive Representation for Mixture-of-Experts in Parameter-Efficient Fine-tuning
von: Feng, Jinyuan, et al.
Veröffentlicht: (2025)

Topic Modeling with Fine-tuning LLMs and Bag of Sentences
von: Schneider, Johannes
Veröffentlicht: (2024)

On the Loss of Context-awareness in General Instruction Fine-tuning
von: Wang, Yihan, et al.
Veröffentlicht: (2024)

DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning
von: Zhang, Junbo, et al.
Veröffentlicht: (2026)

Learn Hard Problems During RL with Reference Guided Fine-tuning
von: Wu, Yangzhen, et al.
Veröffentlicht: (2026)

Threshold Filtering Packing for Supervised Fine-Tuning: Training Related Samples within Packs
von: Dong, Jiancheng, et al.
Veröffentlicht: (2024)

Two-stage LLM Fine-tuning with Less Specialization and More Generalization
von: Wang, Yihan, et al.
Veröffentlicht: (2022)

A General Framework to Enhance Fine-tuning-based LLM Unlearning
von: Ren, Jie, et al.
Veröffentlicht: (2025)

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning
von: Lin, Zihan, et al.
Veröffentlicht: (2026)

Dissecting Outlier Dynamics in LLM NVFP4 Pretraining
von: Dong, Peijie, et al.
Veröffentlicht: (2026)