Rényi Attention Entropy for Patch Pruning
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Aizawa, Hiroaki, Igaue, Yuki |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Patch Pruning Strategy Based on Robust Statistical Measures of Attention Weight Diversity in Vision Transformers
par: Igaue, Yuki, et autres
Publié: (2025)
par: Igaue, Yuki, et autres
Publié: (2025)
Taylor Outlier Exposure
par: Fukuda, Kohei, et autres
Publié: (2024)
par: Fukuda, Kohei, et autres
Publié: (2024)
ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference
par: Pathak, Surendra, et autres
Publié: (2026)
par: Pathak, Surendra, et autres
Publié: (2026)
Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers
par: Gabetni, Firas, et autres
Publié: (2025)
par: Gabetni, Firas, et autres
Publié: (2025)
NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
par: Joshi, Devvrat, et autres
Publié: (2025)
par: Joshi, Devvrat, et autres
Publié: (2025)
ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding
par: Setyawan, Novendra, et autres
Publié: (2024)
par: Setyawan, Novendra, et autres
Publié: (2024)
Entropy Guided Dynamic Patch Segmentation for Time Series Transformers
par: Abeywickrama, Sachith, et autres
Publié: (2025)
par: Abeywickrama, Sachith, et autres
Publié: (2025)
Rényi Entropy: A New Token Pruning Metric for Vision Transformers
par: Su, Wei-Yuan, et autres
Publié: (2026)
par: Su, Wei-Yuan, et autres
Publié: (2026)
Uncertainty-Guided Attention and Entropy-Weighted Loss for Precise Plant Seedling Segmentation
par: Ehab, Mohamed, et autres
Publié: (2026)
par: Ehab, Mohamed, et autres
Publié: (2026)
AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in Large Vision-Language Models
par: Baek, Changwoo, et autres
Publié: (2026)
par: Baek, Changwoo, et autres
Publié: (2026)
Patch Ranking: Efficient CLIP by Learning to Rank Local Patches
par: Wu, Cheng-En, et autres
Publié: (2024)
par: Wu, Cheng-En, et autres
Publié: (2024)
PatchFlow: Leveraging a Flow-Based Model with Patch Features
par: Zhang, Boxiang, et autres
Publié: (2026)
par: Zhang, Boxiang, et autres
Publié: (2026)
Decay Pruning Method: Smooth Pruning With a Self-Rectifying Procedure
par: Yang, Minghao, et autres
Publié: (2024)
par: Yang, Minghao, et autres
Publié: (2024)
Patch2Loc: Learning to Localize Patches for Unsupervised Brain Lesion Detection
par: Baker, Hassan, et autres
Publié: (2025)
par: Baker, Hassan, et autres
Publié: (2025)
PruneFuse: Efficient Data Selection via Weight Pruning and Network Fusion
par: Kousar, Humaira, et autres
Publié: (2026)
par: Kousar, Humaira, et autres
Publié: (2026)
ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks
par: Hu, Wenhao, et autres
Publié: (2025)
par: Hu, Wenhao, et autres
Publié: (2025)
Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
par: Gupta, Manas, et autres
Publié: (2022)
par: Gupta, Manas, et autres
Publié: (2022)
Growing Networks with Autonomous Pruning
par: De Lambilly, Charles, et autres
Publié: (2026)
par: De Lambilly, Charles, et autres
Publié: (2026)
Is Oracle Pruning the True Oracle?
par: Feng, Sicheng, et autres
Publié: (2024)
par: Feng, Sicheng, et autres
Publié: (2024)
Distilling the Knowledge in Data Pruning
par: Ben-Baruch, Emanuel, et autres
Publié: (2024)
par: Ben-Baruch, Emanuel, et autres
Publié: (2024)
Flatness-aware Curriculum Learning via Adversarial Difficulty
par: Aizawa, Hiroaki, et autres
Publié: (2025)
par: Aizawa, Hiroaki, et autres
Publié: (2025)
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
par: Abedi, Ali, et autres
Publié: (2025)
par: Abedi, Ali, et autres
Publié: (2025)
MedicalPatchNet: A Patch-Based Self-Explainable AI Architecture for Chest X-ray Classification
par: Wienholt, Patrick, et autres
Publié: (2025)
par: Wienholt, Patrick, et autres
Publié: (2025)
Exploring 3D Dataset Pruning
par: Zhao, Xiaohan, et autres
Publié: (2026)
par: Zhao, Xiaohan, et autres
Publié: (2026)
Shapley Pruning for Neural Network Compression
par: Adamczewski, Kamil, et autres
Publié: (2024)
par: Adamczewski, Kamil, et autres
Publié: (2024)
Pruning at Initialization -- A Sketching Perspective
par: Bar, Noga, et autres
Publié: (2023)
par: Bar, Noga, et autres
Publié: (2023)
Data Pruning in Generative Diffusion Models
par: Briq, Rania, et autres
Publié: (2024)
par: Briq, Rania, et autres
Publié: (2024)
PatchMorph: A Stochastic Deep Learning Approach for Unsupervised 3D Brain Image Registration with Small Patches
par: Skibbe, Henrik, et autres
Publié: (2023)
par: Skibbe, Henrik, et autres
Publié: (2023)
Batch Loss Score for Dynamic Data Pruning
par: Zhou, Qing, et autres
Publié: (2026)
par: Zhou, Qing, et autres
Publié: (2026)
Large-scale Dataset Pruning with Dynamic Uncertainty
par: He, Muyang, et autres
Publié: (2023)
par: He, Muyang, et autres
Publié: (2023)
Training-Free Dataset Pruning for Instance Segmentation
par: Dai, Yalun, et autres
Publié: (2025)
par: Dai, Yalun, et autres
Publié: (2025)
Towards Meta-Pruning via Optimal Transport
par: Theus, Alexander, et autres
Publié: (2024)
par: Theus, Alexander, et autres
Publié: (2024)
Investigating the Effect of Network Pruning on Performance and Interpretability
par: von Rad, Jonathan, et autres
Publié: (2024)
par: von Rad, Jonathan, et autres
Publié: (2024)
DRoP: Distributionally Robust Data Pruning
par: Vysogorets, Artem, et autres
Publié: (2024)
par: Vysogorets, Artem, et autres
Publié: (2024)
From Pixels to Patches: Pooling Strategies for Earth Embeddings
par: Corley, Isaac, et autres
Publié: (2026)
par: Corley, Isaac, et autres
Publié: (2026)
Layer Pruning with Consensus: A Triple-Win Solution
par: Mugnaini, Leandro Giusti, et autres
Publié: (2024)
par: Mugnaini, Leandro Giusti, et autres
Publié: (2024)
Multimodal Machine Translation with Visual Scene Graph Pruning
par: Lu, Chenyu, et autres
Publié: (2025)
par: Lu, Chenyu, et autres
Publié: (2025)
Pruning Self-attentions into Convolutional Layers in Single Path
par: He, Haoyu, et autres
Publié: (2021)
par: He, Haoyu, et autres
Publié: (2021)
Physics Inspired Criterion for Pruning-Quantization Joint Learning
par: Xie, Weiying, et autres
Publié: (2023)
par: Xie, Weiying, et autres
Publié: (2023)
Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
par: Bair, Anna, et autres
Publié: (2023)
par: Bair, Anna, et autres
Publié: (2023)
Documents similaires
-
Patch Pruning Strategy Based on Robust Statistical Measures of Attention Weight Diversity in Vision Transformers
par: Igaue, Yuki, et autres
Publié: (2025) -
Taylor Outlier Exposure
par: Fukuda, Kohei, et autres
Publié: (2024) -
ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference
par: Pathak, Surendra, et autres
Publié: (2026) -
Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers
par: Gabetni, Firas, et autres
Publié: (2025) -
NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
par: Joshi, Devvrat, et autres
Publié: (2025)