Buchumschlag

Exploiting Information Redundancy in Attention Maps for Extreme Quantization of Vision Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Maisonnave, Lucas, Haroun, Karim, Pegeot, Tom
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Where Do Tokens Go? Understanding Pruning Behaviors in STEP at High Resolutions
von: Szczepanski, Michal, et al.
Veröffentlicht: (2025)

Codebook-enabled Generative End-to-end Semantic Communication Powered by Transformer
von: Ye, Peigen, et al.
Veröffentlicht: (2024)

Dynamic Accumulated Attention Map for Interpreting Evolution of Decision-Making in Vision Transformer
von: Liao, Yi, et al.
Veröffentlicht: (2025)

Class-Discriminative Attention Maps for Vision Transformers
von: Brocki, Lennart, et al.
Veröffentlicht: (2023)

LF-ViT: Reducing Spatial Redundancy in Vision Transformer for Efficient Image Recognition
von: Hu, Youbing, et al.
Veröffentlicht: (2024)

Mixed Non-linear Quantization for Vision Transformers
von: Kim, Gihwan, et al.
Veröffentlicht: (2024)

ITSELF: Attention Guided Fine-Grained Alignment for Vision-Language Retrieval
von: Nguyen, Tien-Huy, et al.
Veröffentlicht: (2026)

Exploiting Mixture-of-Experts Redundancy Unlocks Multimodal Generative Abilities
von: Dutt, Raman, et al.
Veröffentlicht: (2025)

CRISP -- Clustering-Based Redundancy-Reduced Instance Sampling for Pathology Case Representation and Retrieval
von: Afzal, Zahra Rahimi, et al.
Veröffentlicht: (2026)

Amortized-Precision Quantization for Early-Exit Vision Transformers
von: Fang, Rui, et al.
Veröffentlicht: (2026)

Vision Transformer-based Semantic Communications With Importance-Aware Quantization
von: Park, Joohyuk, et al.
Veröffentlicht: (2024)

Universal Representations for Classification-enhanced Lossy Compression
von: Nguyen, Nam
Veröffentlicht: (2025)

Large AI Model-Enabled Generative Semantic Communications for Image Transmission
von: Ma, Qiyu, et al.
Veröffentlicht: (2025)

ICDM: Interference Cancellation Diffusion Models for Wireless Semantic Communications
von: Wu, Tong, et al.
Veröffentlicht: (2025)

How to Evaluate Semantic Communications for Images with ViTScore Metric?
von: Zhu, Tingting, et al.
Veröffentlicht: (2023)

Physics-informed Generalizable Wireless Channel Modeling with Segmentation and Deep Learning: Fundamentals, Methodologies, and Challenges
von: Zhu, Ethan, et al.
Veröffentlicht: (2024)

Entropy Loss: An Interpretability Amplifier of 3D Object Detection Network for Intelligent Driving
von: Yang, Haobo, et al.
Veröffentlicht: (2024)

The Linear Attention Resurrection in Vision Transformer
von: Zheng, Chuanyang
Veröffentlicht: (2025)

Spiking Vision Transformer with Saccadic Attention
von: Wang, Shuai, et al.
Veröffentlicht: (2025)

LVM4CSI: Enabling Direct Application of Pre-Trained Large Vision Models for Wireless Channel Tasks
von: Guo, Jiajia, et al.
Veröffentlicht: (2025)

RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer
von: Zhang, Jiawei
Veröffentlicht: (2024)

Information-Guided Diffusion Sampling for Dataset Distillation
von: Ye, Linfeng, et al.
Veröffentlicht: (2025)

Noise Scheduling as Information-Guided Allocation in Diffusion Training
von: Raya, Gabriel, et al.
Veröffentlicht: (2026)

Enhancing Layer Attention Efficiency through Pruning Redundant Retrievals
von: Li, Hanze, et al.
Veröffentlicht: (2025)

Attention Retention for Continual Learning with Vision Transformers
von: Lu, Yue, et al.
Veröffentlicht: (2026)

Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
von: Ye, Linfeng, et al.
Veröffentlicht: (2026)

Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning
von: Xu, Zhaoqi, et al.
Veröffentlicht: (2025)

Raformer: Redundancy-Aware Transformer for Video Wire Inpainting
von: Ji, Zhong, et al.
Veröffentlicht: (2024)

Skip-It? Theoretical Conditions for Layer Skipping in Vision-Language Models
von: Hartman, Max, et al.
Veröffentlicht: (2025)

Weakly Supervised Deep Hyperspherical Quantization for Image Retrieval
von: Wang, Jinpeng, et al.
Veröffentlicht: (2024)

Attention Guided CAM: Visual Explanations of Vision Transformer Guided by Self-Attention
von: Leem, Saebom, et al.
Veröffentlicht: (2024)

DFQ-ViT: Data-Free Quantization for Vision Transformers without Fine-tuning
von: Tong, Yujia, et al.
Veröffentlicht: (2025)

VideoRAG: Retrieval-Augmented Generation with Extreme Long-Context Videos
von: Ren, Xubin, et al.
Veröffentlicht: (2025)

A Rate-Distortion-Classification Approach for Lossy Image Compression
von: Zhang, Yuefeng
Veröffentlicht: (2024)

Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders
von: Wang, Yizhou, et al.
Veröffentlicht: (2025)

PolaFormer: Polarity-aware Linear Attention for Vision Transformers
von: Meng, Weikang, et al.
Veröffentlicht: (2025)

SPARO: Selective Attention for Robust and Compositional Transformer Encodings for Vision
von: Vani, Ankit, et al.
Veröffentlicht: (2024)

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models
von: Tong, Jintao, et al.
Veröffentlicht: (2025)

Evaluating Visual Explanations of Attention Maps for Transformer-based Medical Imaging
von: Chung, Minjae, et al.
Veröffentlicht: (2025)

Trio-ViT: Post-Training Quantization and Acceleration for Softmax-Free Efficient Vision Transformer
von: Shi, Huihong, et al.
Veröffentlicht: (2024)