Buchumschlag

MoVE-KD: Knowledge Distillation for VLMs with Mixture of Visual Encoders

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cao, Jiajun, Zhang, Yuan, Huang, Tao, Lu, Ming, Zhang, Qizhe, An, Ruichuan, MA, Ningning, Zhang, Shanghang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MoSA: Mixture of Sparse Adapters for Visual Efficient Tuning
von: Zhang, Qizhe, et al.
Veröffentlicht: (2023)

FreeKD: Knowledge Distillation via Semantic Frequency Prompt
von: Zhang, Yuan, et al.
Veröffentlicht: (2023)

Beyond Text-Visual Attention: Exploiting Visual Cues for Effective Token Pruning in VLMs
von: Zhang, Qizhe, et al.
Veröffentlicht: (2024)

MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models
von: Li, Yangyan
Veröffentlicht: (2026)

SpikeGen: Decoupled "Rods and Cones" Visual Representation Processing with Latent Generative Framework
von: Dai, Gaole, et al.
Veröffentlicht: (2025)

Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer
von: Liu, Jiaming, et al.
Veröffentlicht: (2022)

Drive-KD: Multi-Teacher Distillation for VLMs in Autonomous Driving
von: Lian, Weitong, et al.
Veröffentlicht: (2026)

MoKD: Multi-Task Optimization for Knowledge Distillation
von: Hayder, Zeeshan, et al.
Veröffentlicht: (2025)

VLM-KD: Knowledge Distillation from VLM for Long-Tail Visual Recognition
von: Zhang, Zaiwei, et al.
Veröffentlicht: (2024)

Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models
von: Sun, Haoyi, et al.
Veröffentlicht: (2026)

ChainV: Atomic Visual Hints Make Multimodal Reasoning Shorter and Better
von: Zhang, Yuan, et al.
Veröffentlicht: (2025)

EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting
von: Wei, Xiaobao, et al.
Veröffentlicht: (2024)

GiVE: Guiding Visual Encoder to Perceive Overlooked Information
von: Li, Junjie, et al.
Veröffentlicht: (2024)

CrossKD: Cross-Head Knowledge Distillation for Object Detection
von: Wang, Jiabao, et al.
Veröffentlicht: (2023)

MMG-Vid: Maximizing Marginal Gains at Segment-level and Token-level for Efficient Video LLMs
von: Ma, Junpeng, et al.
Veröffentlicht: (2025)

MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation
von: Zhang, Ronyu, et al.
Veröffentlicht: (2026)

Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs
von: An, Ruichuan, et al.
Veröffentlicht: (2025)

Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs
von: Zhang, Qizhe, et al.
Veröffentlicht: (2025)

KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
von: Wang, Yu, et al.
Veröffentlicht: (2022)

DeepKD: A Deeply Decoupled and Denoised Knowledge Distillation Trainer
von: Huang, Haiduo, et al.
Veröffentlicht: (2025)

MC-LLaVA: Multi-Concept Personalized Vision-Language Model
von: An, Ruichuan, et al.
Veröffentlicht: (2025)

I-MedSAM: Implicit Medical Image Segmentation with Segment Anything
von: Wei, Xiaobao, et al.
Veröffentlicht: (2023)

TopKD: Top-scaled Knowledge Distillation
von: Wang, Qi, et al.
Veröffentlicht: (2025)

World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning
von: Zhang, Wanyue, et al.
Veröffentlicht: (2026)

WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal
von: Luo, Yulin, et al.
Veröffentlicht: (2023)

Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want
von: Lin, Weifeng, et al.
Veröffentlicht: (2024)

AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs
von: Zhang, Yuan, et al.
Veröffentlicht: (2025)

MC-LLaVA: Multi-Concept Personalized Vision-Language Model
von: An, Ruichuan, et al.
Veröffentlicht: (2024)

MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation
von: Chen, Szu-Chi, et al.
Veröffentlicht: (2026)

HKD4VLM: A Progressive Hybrid Knowledge Distillation Framework for Robust Multimodal Hallucination and Factuality Detection in VLMs
von: Zhang, Zijian, et al.
Veröffentlicht: (2025)

EA-KD: Entropy-based Adaptive Knowledge Distillation
von: Su, Chi-Ping, et al.
Veröffentlicht: (2023)

BD-KD: Balancing the Divergences for Online Knowledge Distillation
von: Amara, Ibtihel, et al.
Veröffentlicht: (2022)

Gradient-based Parameter Selection for Efficient Fine-Tuning
von: Zhang, Zhi, et al.
Veröffentlicht: (2023)

Exploring Sparse Visual Prompt for Domain Adaptive Dense Prediction
von: Yang, Senqiao, et al.
Veröffentlicht: (2023)

ActVAR: Activating Mixtures of Weights and Tokens for Efficient Visual Autoregressive Generation
von: Zhang, Kaixin, et al.
Veröffentlicht: (2025)

TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation
von: Liu, Ruiping, et al.
Veröffentlicht: (2022)

DiffKD-DCIS: Predicting Upgrade of Ductal Carcinoma In Situ with Diffusion Augmentation and Knowledge Distillation
von: Li, Tao, et al.
Veröffentlicht: (2026)

ACAM-KD: Adaptive and Cooperative Attention Masking for Knowledge Distillation
von: Lan, Qizhen, et al.
Veröffentlicht: (2025)

LLM as Dataset Analyst: Subpopulation Structure Discovery with Large Language Model
von: Luo, Yulin, et al.
Veröffentlicht: (2024)

AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
von: Tang, Zihao, et al.
Veröffentlicht: (2024)