Buchumschlag

Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ali, Ameen, Katz, Shahar, Wolf, Lior, Titov, Ivan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mitigating Copy Bias in In-Context Learning through Neuron Pruning
von: Ali, Ameen, et al.
Veröffentlicht: (2024)

Backward Lens: Projecting Language Model Gradients into the Vocabulary Space
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

Finding Culture-Sensitive Neurons in Vision-Language Models
von: Zhao, Xiutian, et al.
Veröffentlicht: (2025)

Reversed Attention: On The Gradient Descent Of Attention Layers In GPT
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

Cache & Distil: Optimising API Calls to Large Language Models
von: Ramírez, Guillem, et al.
Veröffentlicht: (2023)

AlignTree: Efficient Defense Against LLM Jailbreak Attacks
von: Goren, Gil, et al.
Veröffentlicht: (2025)

Execution Guided Line-by-Line Code Generation
von: Lavon, Boaz, et al.
Veröffentlicht: (2025)

Suppressing VLM Hallucinations with Spectral Representation Filtering
von: Ali, Ameen, et al.
Veröffentlicht: (2025)

Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models
von: Kyriakou, Athina, et al.
Veröffentlicht: (2026)

Large Language Model Pruning
von: Huang, Hanjuan, et al.
Veröffentlicht: (2024)

Neuron-Level Knowledge Attribution in Large Language Models
von: Yu, Zeping, et al.
Veröffentlicht: (2023)

Deterministic Differentiable Structured Pruning for Large Language Models
von: Huang, Weiyu, et al.
Veröffentlicht: (2026)

Segment-Based Attention Masking for GPTs
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

DarwinLM: Evolutionary Structured Pruning of Large Language Models
von: Tang, Shengkun, et al.
Veröffentlicht: (2025)

Frustratingly Easy Task-aware Pruning for Large Language Models
von: Tian, Yuanhe, et al.
Veröffentlicht: (2025)

PIP: Perturbation-based Iterative Pruning for Large Language Models
von: Cao, Yi, et al.
Veröffentlicht: (2025)

Fast and Effective Weight Update for Pruned Large Language Models
von: Boža, Vladimír
Veröffentlicht: (2024)

What's New in My Data? Novelty Exploration via Contrastive Generation
von: Isonuma, Masaru, et al.
Veröffentlicht: (2024)

Olica: Efficient Structured Pruning of Large Language Models without Retraining
von: He, Jiujun, et al.
Veröffentlicht: (2025)

Self-Data Distillation for Recovering Quality in Pruned Large Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

Efficient Post-Training Pruning of Large Language Models with Statistical Correction
von: Yu, Peiqi, et al.
Veröffentlicht: (2026)

DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models
von: Gao, Shangqian, et al.
Veröffentlicht: (2024)

Language Model-Driven Data Pruning Enables Efficient Active Learning
von: Azeemi, Abdul Hameed, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection
von: Islam, Akif, et al.
Veröffentlicht: (2025)

Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
von: Shin, Sungbin, et al.
Veröffentlicht: (2024)

Relative Kinetic Utility for Reasoning-Aware Structural Pruning in Large Language Models
von: Qian, Tianhao
Veröffentlicht: (2026)

MoreauPruner: Robust Pruning of Large Language Models against Weight Perturbations
von: Wang, Zixiao, et al.
Veröffentlicht: (2024)

Beware of Calibration Data for Pruning Large Language Models
von: Ji, Yixin, et al.
Veröffentlicht: (2024)

COPAL: Continual Pruning in Large Language Generative Models
von: Malla, Srikanth, et al.
Veröffentlicht: (2024)

PAT: Pruning-Aware Tuning for Large Language Models
von: Liu, Yijiang, et al.
Veröffentlicht: (2024)

Z-Pruner: Post-Training Pruning of Large Language Models for Efficiency without Retraining
von: Bhuiyan, Samiul Basir, et al.
Veröffentlicht: (2025)

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
von: Smith, James Seale, et al.
Veröffentlicht: (2025)

Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods
von: Kim, Bo-Kyeong, et al.
Veröffentlicht: (2024)

NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models
von: Liu, Weiqi, et al.
Veröffentlicht: (2026)

Selective Neuron Amplification in Transformer Language Models
von: Akhtar, Ryyan, et al.
Veröffentlicht: (2026)

Joint Localization and Activation Editing for Low-Resource Fine-Tuning
von: Lai, Wen, et al.
Veröffentlicht: (2025)

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
von: Zhao, Songlin, et al.
Veröffentlicht: (2025)

ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning
von: Su, Mingluo, et al.
Veröffentlicht: (2026)

NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models
von: Dhurandhar, Amit, et al.
Veröffentlicht: (2024)

Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models
von: Mastromattei, Michele, et al.
Veröffentlicht: (2024)