Buchumschlag

Knowledge Distillation for Federated Learning: a Practical Guide

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mora, Alessio, Tenison, Irene, Bellavista, Paolo, Rish, Irina
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Federated Unlearning Made Practical: Seamless Integration via Negated Pseudo-Gradients
von: Mora, Alessio, et al.
Veröffentlicht: (2025)

FedQUIT: On-Device Federated Unlearning via a Quasi-Competent Virtual Teacher
von: Mora, Alessio, et al.
Veröffentlicht: (2024)

Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics
von: Romandini, Nicolò, et al.
Veröffentlicht: (2024)

SparsyFed: Sparse Adaptive Federated Training
von: Guastella, Adriano, et al.
Veröffentlicht: (2025)

Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
von: Alotaibi, Abdulrahman, et al.
Veröffentlicht: (2026)

FTTE: Enabling Federated and Resource-Constrained Deep Edge Intelligence
von: Tenison, Irene, et al.
Veröffentlicht: (2025)

Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
von: Legate, Gwen, et al.
Veröffentlicht: (2025)

AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks
von: Tenison, Irene, et al.
Veröffentlicht: (2025)

Enabling Realtime Reinforcement Learning at Scale with Staggered Asynchronous Inference
von: Riemer, Matthew, et al.
Veröffentlicht: (2024)

Knowledge Distillation in Federated Edge Learning: A Survey
von: Wu, Zhiyuan, et al.
Veröffentlicht: (2023)

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation
von: Tenison, Irene, et al.
Veröffentlicht: (2026)

Tailored Federated Learning: Leveraging Direction Regulation & Knowledge Distillation
von: Tang, Huidong, et al.
Veröffentlicht: (2024)

MuLoCo: Muon is a practical inner optimizer for DiLoCo
von: Thérien, Benjamin, et al.
Veröffentlicht: (2025)

Influence Functions for Efficient Data Selection in Reasoning
von: Humane, Prateek, et al.
Veröffentlicht: (2025)

$μ$LO: Compute-Efficient Meta-Generalization of Learned Optimizers
von: Thérien, Benjamin, et al.
Veröffentlicht: (2024)

Tackling Data Heterogeneity in Federated Learning through Knowledge Distillation with Inequitable Aggregation
von: Ma, Xing
Veröffentlicht: (2025)

Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning
von: Gan, Xiaoyu, et al.
Veröffentlicht: (2024)

Reviving Stale Updates: Data-Free Knowledge Distillation for Asynchronous Federated Learning
von: Askin, Baris, et al.
Veröffentlicht: (2025)

A Guide to Robust Generalization: The Impact of Architecture, Pre-training, and Optimization Strategy
von: Heuillet, Maxime, et al.
Veröffentlicht: (2025)

FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning
von: Reguieg, Hamza, et al.
Veröffentlicht: (2026)

Beyond Cosine Decay: On the effectiveness of Infinite Learning Rate Schedule for Continual Pre-training
von: Singh, Vaibhav, et al.
Veröffentlicht: (2025)

Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation
von: Aslam, Muhammad Haseeb, et al.
Veröffentlicht: (2025)

Clustered Federated Learning with Hierarchical Knowledge Distillation
von: Ahmad, Sabtain, et al.
Veröffentlicht: (2025)

UNIDEAL: Curriculum Knowledge Distillation Federated Learning
von: Yang, Yuwen, et al.
Veröffentlicht: (2023)

Enabling Weak Client Participation via On-device Knowledge Distillation in Heterogeneous Federated Learning
von: Lim, Jihyun, et al.
Veröffentlicht: (2025)

A Novel Algorithm for Personalized Federated Learning: Knowledge Distillation with Weighted Combination Loss
von: Hu, Hengrui, et al.
Veröffentlicht: (2025)

FedCache 2.0: Federated Edge Learning with Knowledge Caching and Dataset Distillation
von: Pan, Quyang, et al.
Veröffentlicht: (2024)

SFedKD: Sequential Federated Learning with Discrepancy-Aware Multi-Teacher Knowledge Distillation
von: Xu, Haotian, et al.
Veröffentlicht: (2025)

HYDRA-FL: Hybrid Knowledge Distillation for Robust and Accurate Federated Learning
von: Khan, Momin Ahmad, et al.
Veröffentlicht: (2024)

Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching
von: Jain, Arnav Kumar, et al.
Veröffentlicht: (2024)

Optimized Federated Knowledge Distillation with Distributed Neural Architecture Search
von: Medjadji, Chaimaa, et al.
Veröffentlicht: (2026)

Handling Delay in Real-Time Reinforcement Learning
von: Anokhin, Ivan, et al.
Veröffentlicht: (2025)

One-shot Federated Learning Methods: A Practical Guide
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

A Multi-Prototype-Guided Federated Knowledge Distillation Approach in AI-RAN Enabled Multi-Access Edge Computing System
von: Zou, Luyao, et al.
Veröffentlicht: (2026)

Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation
von: Zhang, Xiaoxiong, et al.
Veröffentlicht: (2024)

Practical Insights into Knowledge Distillation for Pre-Trained Models
von: Alballa, Norah, et al.
Veröffentlicht: (2024)

Blind Federated Learning without initial model
von: Salmeron, Jose L., et al.
Veröffentlicht: (2024)

InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation
von: Eskandari, Amir, et al.
Veröffentlicht: (2026)

FedKDX: Federated Learning with Negative Knowledge Distillation for Enhanced Healthcare AI Systems
von: Pham, Quang-Tu, et al.
Veröffentlicht: (2026)

Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models
von: Roger, Alexis, et al.
Veröffentlicht: (2025)