Buchumschlag

Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Choi, Minsik, Son, Hyegang, Kim, Changhoon, Kim, Young Geun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)

Measuring Sample Importance in Data Pruning for Language Models based on Information Entropy
von: Kim, Minsang, et al.
Veröffentlicht: (2024)

Adaptive Pruning for Large Language Models with Structural Importance Awareness
von: Zheng, Haotian, et al.
Veröffentlicht: (2024)

LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
von: Fu, Qichen, et al.
Veröffentlicht: (2024)

Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
von: Liu, Jun, et al.
Veröffentlicht: (2024)

Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context
von: Alizadeh, Keivan, et al.
Veröffentlicht: (2026)

Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
von: Leemann, Tobias, et al.
Veröffentlicht: (2024)

TokenButler: Token Importance is Predictable
von: Akhauri, Yash, et al.
Veröffentlicht: (2025)

Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance
von: Hussien, Mostafa, et al.
Veröffentlicht: (2024)

Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
von: Choi, Yunseon, et al.
Veröffentlicht: (2024)

ESPO: Entropy Importance Sampling Policy Optimization
von: Sheng, Yuepeng, et al.
Veröffentlicht: (2025)

Incorporating Attribution Importance for Improving Faithfulness Metrics
von: Zhao, Zhixue, et al.
Veröffentlicht: (2023)

Do LLMs Encode Functional Importance of Reasoning Tokens?
von: Singh, Janvijay, et al.
Veröffentlicht: (2026)

Pruning and Distilling Mixture-of-Experts into Dense Language Models
von: Kim, Junhyuck, et al.
Veröffentlicht: (2026)

Entropy Adaptive Decoding: Dynamic Model Switching for Efficient Inference
von: Simonds, Toby
Veröffentlicht: (2025)

Quantifying the Importance of Data Alignment in Downstream Model Performance
von: Chawla, Krrish, et al.
Veröffentlicht: (2025)

Comparing Feature Importance and Rule Extraction for Interpretability on Text Data
von: Lopardo, Gianluigi, et al.
Veröffentlicht: (2022)

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining
von: Kim, Seonwu, et al.
Veröffentlicht: (2025)

BenchHub: A Unified Benchmark Suite for Holistic and Customizable LLM Evaluation
von: Kim, Eunsu, et al.
Veröffentlicht: (2025)

The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
von: Song, Yuda, et al.
Veröffentlicht: (2024)

On the Entropy Calibration of Language Models
von: Cao, Steven, et al.
Veröffentlicht: (2025)

TIDE: Every Layer Knows the Token Beneath the Context
von: Jaiswal, Ajay, et al.
Veröffentlicht: (2026)

Rethinking GSPO: The Perplexity-Entropy Equivalence
von: Liu, Chi
Veröffentlicht: (2025)

Entropy Controllable Direct Preference Optimization
von: Omura, Motoki, et al.
Veröffentlicht: (2024)

No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
von: Le, Thanh-Long V., et al.
Veröffentlicht: (2025)

COPAL: Continual Pruning in Large Language Generative Models
von: Malla, Srikanth, et al.
Veröffentlicht: (2024)

Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
von: Lee, Jungi, et al.
Veröffentlicht: (2026)

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
von: Pan, Rui, et al.
Veröffentlicht: (2024)

Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics
von: Nair, Jishnu Sethumadhavan, et al.
Veröffentlicht: (2026)

PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
von: Wu, Feijie, et al.
Veröffentlicht: (2025)

On Importance of Pruning and Distillation for Efficient Low Resource NLP
von: Mirashi, Aishwarya, et al.
Veröffentlicht: (2024)

SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning
von: Wang, Hanrui, et al.
Veröffentlicht: (2020)

MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling
von: Thiombiano, Abdoul Majid O., et al.
Veröffentlicht: (2025)

Adaptive Computation Pruning for the Forgetting Transformer
von: Lin, Zhixuan, et al.
Veröffentlicht: (2025)

What Scales in Cross-Entropy Scaling Law?
von: Yan, Junxi, et al.
Veröffentlicht: (2025)

Rethinking Entropy Regularization in Large Reasoning Models
von: Jiang, Yuxian, et al.
Veröffentlicht: (2025)

Guided Perturbation Sensitivity (GPS): Detecting Adversarial Text via Embedding Stability and Word Importance
von: Tuck, Bryan E., et al.
Veröffentlicht: (2025)

On the Importance of a Multi-Scale Calibration for Quantization
von: Son, Seungwoo, et al.
Veröffentlicht: (2026)

Rethinking Layer Redundancy: Calibration Matters More Than Search in LLM Depth Pruning
von: Kim, Minkyu, et al.
Veröffentlicht: (2026)

Efficient Pruning of Text-to-Image Models: Insights from Pruning Stable Diffusion
von: Ramesh, Samarth N, et al.
Veröffentlicht: (2024)