Buchumschlag

Distilling Lightweight Domain Experts from Large ML Models by Identifying Relevant Subspaces

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chormai, Pattarawat, Hashemi, Ali, Müller, Klaus-Robert, Montavon, Grégoire
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Investigating the Robustness of Subtask Distillation under Spurious Correlation
von: Chormai, Pattarawat, et al.
Veröffentlicht: (2026)

Disentangled Explanations of Neural Network Predictions by Finding Relevant Subspaces
von: Chormai, Pattarawat, et al.
Veröffentlicht: (2022)

Normalized Relevance Measure as a Unifying Framework to Explain Neural Network Latent Structures
von: Xiong, Ping, et al.
Veröffentlicht: (2026)

XpertAI: uncovering regression model strategies for sub-manifolds
von: Letzgus, Simon, et al.
Veröffentlicht: (2024)

Relevant Walk Search for Explaining Graph Neural Networks
von: Xiong, Ping, et al.
Veröffentlicht: (2026)

Reliable Modeling of Distribution Shifts via Displacement-Reshaped Optimal Transport
von: Naumann, Philip, et al.
Veröffentlicht: (2026)

MambaLRP: Explaining Selective State Space Sequence Models
von: Jafari, Farnoush Rezaei, et al.
Veröffentlicht: (2024)

Towards Desiderata-Driven Design of Visual Counterfactual Explainers
von: Bender, Sidney, et al.
Veröffentlicht: (2025)

Efficient Higher-order Subgraph Attribution via Message Passing
von: Xiong, Ping, et al.
Veröffentlicht: (2026)

Uncovering the Structure of Explanation Quality with Spectral Analysis
von: Maeß, Johannes, et al.
Veröffentlicht: (2025)

Fast and Accurate Explanations of Distance-Based Classifiers by Uncovering Latent Explanatory Structures
von: Bley, Florian, et al.
Veröffentlicht: (2025)

Conveyance: A Versatile Framework for Learning in Structured Class Spaces
von: Taha, Yasser, et al.
Veröffentlicht: (2026)

Mitigating Clever Hans Strategies in Image Classifiers through Generating Counterexamples
von: Bender, Sidney, et al.
Veröffentlicht: (2025)

The Clever Hans Effect in Unsupervised Learning
von: Kauffmann, Jacob, et al.
Veröffentlicht: (2024)

Drainage: A Unifying Framework for Addressing Class Uncertainty
von: Taha, Yasser, et al.
Veröffentlicht: (2025)

Wasserstein Distances Made Explainable: Insights Into Dataset Shifts and Transport Phenomena
von: Naumann, Philip, et al.
Veröffentlicht: (2025)

Insightful analysis of historical sources at scales beyond human capabilities using unsupervised Machine Learning and XAI
von: Eberle, Oliver, et al.
Veröffentlicht: (2023)

Uncertainty Gating for Cost-Aware Explainable Artificial Intelligence
von: Mikriukov, Georgii, et al.
Veröffentlicht: (2026)

Explaining Predictive Uncertainty by Exposing Second-Order Effects
von: Bley, Florian, et al.
Veröffentlicht: (2024)

Towards Symbolic XAI -- Explanation Through Human Understandable Logical Relationships Between Features
von: Schnake, Thomas, et al.
Veröffentlicht: (2024)

Enhancing Brain Source Reconstruction by Initializing 3D Neural Networks with Physical Inverse Solutions
von: Morik, Marco, et al.
Veröffentlicht: (2024)

Joint Identifiability of Cross-Domain Recommendation via Hierarchical Subspace Disentanglement
von: Du, Jing, et al.
Veröffentlicht: (2024)

Graph Mamba: Towards Learning on Graphs with State Space Models
von: Behrouz, Ali, et al.
Veröffentlicht: (2024)

Identifying Policy Gradient Subspaces
von: Schneider, Jan, et al.
Veröffentlicht: (2024)

Expert-Driven Monitoring of Operational ML Models
von: Leest, Joran, et al.
Veröffentlicht: (2024)

Multi-Subspace Multi-Modal Modeling for Diffusion Models: Estimation, Convergence and Mixture of Experts
von: Yang, Ruofeng, et al.
Veröffentlicht: (2026)

Opportunities and limitations of explaining quantum machine learning
von: Gil-Fuster, Elies, et al.
Veröffentlicht: (2024)

LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation
von: Song, Siqing, et al.
Veröffentlicht: (2026)

Grassmannian Mixture-of-Experts: Concentration-Controlled Routing on Subspace Manifolds
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2026)

Knowledge Distillation for Enhancing Walmart E-commerce Search Relevance Using Large Language Models
von: Shang, Hongwei, et al.
Veröffentlicht: (2025)

Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
von: Li, Lujun, et al.
Veröffentlicht: (2025)

SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning
von: Roy, Kaushik, et al.
Veröffentlicht: (2026)

Data-driven Energy Efficiency Modelling in Large-scale Networks: An Expert Knowledge and ML-based Approach
von: López-Pérez, David, et al.
Veröffentlicht: (2023)

Reasoning Distillation for Lightweight Automated Program Repair
von: Balasubramanian, Aanand, et al.
Veröffentlicht: (2026)

Unsupervised Domain Shift Detection with Interpretable Subspace Attribution
von: Springer, Sebastian, et al.
Veröffentlicht: (2026)

Identifying Trades Using Technical Analysis and ML/DL Models
von: Shah, Aayush, et al.
Veröffentlicht: (2023)

MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
von: Xie, Zhitian, et al.
Veröffentlicht: (2024)

What Makes An Expert? Reviewing How ML Researchers Define "Expert"
von: Díaz, Mark, et al.
Veröffentlicht: (2024)

Lightweight ML-Based Air Quality Prediction for IoT and Embedded Applications
von: Sami, Md. Sad Abdullah, et al.
Veröffentlicht: (2025)

Mixture-of-Experts with Gradient Conflict-Driven Subspace Topology Pruning for Emergent Modularity
von: Gan, Yuxing, et al.
Veröffentlicht: (2025)