Buchumschlag

EPSD: Early Pruning with Self-Distillation for Efficient Model Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Dong, Liu, Ning, Zhu, Yichen, Che, Zhengping, Ma, Rui, Zhang, Fachao, Mou, Xiaofeng, Chang, Yi, Tang, Jian
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LLaVA-Phi: Efficient Multi-Modal Assistant with Small Language Model
von: Zhu, Yichen, et al.
Veröffentlicht: (2024)

Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation
von: Wang, Jiayuan, et al.
Veröffentlicht: (2025)

Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression
von: Schmitt, Jonas, et al.
Veröffentlicht: (2024)

Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers
von: Ma, Jian, et al.
Veröffentlicht: (2025)

LAPTOP-Diff: Layer Pruning and Normalized Distillation for Compressing Diffusion Models
von: Zhang, Dingkun, et al.
Veröffentlicht: (2024)

EDT: An Efficient Diffusion Transformer Framework Inspired by Human-like Sketching
von: Chen, Xinwang, et al.
Veröffentlicht: (2024)

Language-Conditioned Robotic Manipulation with Fast and Slow Thinking
von: Zhu, Minjie, et al.
Veröffentlicht: (2024)

Object-Centric Instruction Augmentation for Robotic Manipulation
von: Wen, Junjie, et al.
Veröffentlicht: (2024)

Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation
von: Zhao, Yinuo, et al.
Veröffentlicht: (2024)

LiteVAR: Compressing Visual Autoregressive Modelling with Efficient Attention and Quantization
von: Xie, Rui, et al.
Veröffentlicht: (2024)

SM$^3$: Self-Supervised Multi-task Modeling with Multi-view 2D Images for Articulated Objects
von: Wang, Haowen, et al.
Veröffentlicht: (2024)

Model Compression using Progressive Channel Pruning
von: Guo, Jinyang, et al.
Veröffentlicht: (2025)

Towards Universal & Efficient Model Compression via Exponential Torque Pruning
von: Modi, Sarthak Ketanbhai, et al.
Veröffentlicht: (2025)

Can We Achieve Efficient Diffusion without Self-Attention? Distilling Self-Attention into Convolutions
von: Dong, ZiYi, et al.
Veröffentlicht: (2025)

Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique
von: Zheng, Qiang, et al.
Veröffentlicht: (2024)

Cross-Self KV Cache Pruning for Efficient Vision-Language Inference
von: Pei, Xiaohuan, et al.
Veröffentlicht: (2024)

Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning
von: Xu, Zhaoqi, et al.
Veröffentlicht: (2025)

Dual Distillation for Few-Shot Anomaly Detection
von: Dong, Le, et al.
Veröffentlicht: (2026)

TT-MPD: Test Time Model Pruning and Distillation
von: Wu, Haihang, et al.
Veröffentlicht: (2024)

HiPrune: Hierarchical Attention for Efficient Token Pruning in Vision-Language Models
von: Liu, Jizhihui, et al.
Veröffentlicht: (2025)

Short-LVLM: Compressing and Accelerating Large Vision-Language Models by Pruning Redundant Layers
von: Ma, Ji, et al.
Veröffentlicht: (2025)

HierarchicalPrune: Position-Aware Compression for Large-Scale Diffusion Models
von: Kwon, Young D., et al.
Veröffentlicht: (2025)

ActDistill: General Action-Guided Self-Derived Distillation for Efficient Vision-Language-Action Models
von: Ye, Wencheng, et al.
Veröffentlicht: (2025)

S2HPruner: Soft-to-Hard Distillation Bridges the Discretization Gap in Pruning
von: Lin, Weihao, et al.
Veröffentlicht: (2024)

Efficient Learned Image Compression Through Knowledge Distillation
von: Allemand, Fabien, et al.
Veröffentlicht: (2025)

Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation
von: Xu, Yue, et al.
Veröffentlicht: (2023)

TernaryCLIP: Efficiently Compressing Vision-Language Models with Ternary Weights and Distilled Knowledge
von: Zhang, Shu-Hao, et al.
Veröffentlicht: (2025)

Block-based Symmetric Pruning and Fusion for Efficient Vision Transformers
von: Hsieh, Yi-Kuan, et al.
Veröffentlicht: (2025)

Trimming the Fat: Efficient Compression of 3D Gaussian Splats through Pruning
von: Ali, Muhammad Salman, et al.
Veröffentlicht: (2024)

High-Order Progressive Trajectory Matching for Medical Image Dataset Distillation
von: Dong, Le, et al.
Veröffentlicht: (2025)

Efficient Masked Image Compression with Position-Indexed Self-Attention
von: Dai, Chengjie, et al.
Veröffentlicht: (2025)

Disparity-based Stereo Image Compression with Aligned Cross-View Priors
von: Zhai, Yongqi, et al.
Veröffentlicht: (2022)

TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation
von: Wen, Junjie, et al.
Veröffentlicht: (2024)

Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement
von: Kim, Hyeonjin, et al.
Veröffentlicht: (2024)

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning
von: Lyu, Yibo, et al.
Veröffentlicht: (2025)

PMT-MAE: Dual-Branch Self-Supervised Learning with Distillation for Efficient Point Cloud Classification
von: Zheng, Qiang, et al.
Veröffentlicht: (2024)

Distilling the Knowledge in Data Pruning
von: Ben-Baruch, Emanuel, et al.
Veröffentlicht: (2024)

Catching the Details: Self-Distilled RoI Predictors for Fine-Grained MLLM Perception
von: Shi, Yuheng, et al.
Veröffentlicht: (2025)

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
von: Li, Ao, et al.
Veröffentlicht: (2025)

Efficient Face Image Quality Assessment via Self-training and Knowledge Distillation
von: Sun, Wei, et al.
Veröffentlicht: (2025)