Buchumschlag

$\mathcal{X}$-KD: General Experiential Knowledge Distillation for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cai, Yuang, Yuan, Yuyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DSG-KD: Knowledge Distillation from Domain-Specific to General Language Models
von: Cho, Sangyeon, et al.
Veröffentlicht: (2024)

PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning
von: Kim, Gyeongman, et al.
Veröffentlicht: (2024)

KD4MT: A Survey of Knowledge Distillation for Machine Translation
von: de Gibert, Ona, et al.
Veröffentlicht: (2026)

BLSP-KD: Bootstrapping Language-Speech Pre-training via Knowledge Distillation
von: Wang, Chen, et al.
Veröffentlicht: (2024)

EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
von: Wang, Chengyu, et al.
Veröffentlicht: (2025)

DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models
von: Kim, Sungnyun, et al.
Veröffentlicht: (2024)

Online Experiential Learning for Language Models
von: Ye, Tianzhu, et al.
Veröffentlicht: (2026)

Knowledge Distillation of Black-Box Large Language Models
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)

Distilling Rule-based Knowledge into Large Language Models
von: Yang, Wenkai, et al.
Veröffentlicht: (2023)

Direct Preference Knowledge Distillation for Large Language Models
von: Li, Yixing, et al.
Veröffentlicht: (2024)

A Survey on Knowledge Distillation of Large Language Models
von: Xu, Xiaohan, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models
von: Xing, Wang, et al.
Veröffentlicht: (2026)

DWA-KD: Dual-Space Weighting and Time-Warped Alignment for Cross-Tokenizer Knowledge Distillation
von: Vu, Duc Trung, et al.
Veröffentlicht: (2026)

SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models
von: Koo, Jahyun, et al.
Veröffentlicht: (2024)

Evolving Knowledge Distillation with Large Language Models and Active Learning
von: Liu, Chengyuan, et al.
Veröffentlicht: (2024)

DDK: Distilling Domain Knowledge for Efficient Large Language Models
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

Does Knowledge Distillation Matter for Large Language Model based Bundle Generation?
von: Feng, Kaidong, et al.
Veröffentlicht: (2025)

Knowledge Distillation for Large Language Models
von: La Torre, Alejandro Paredes, et al.
Veröffentlicht: (2026)

Distilling Implicit Multimodal Knowledge into Large Language Models for Zero-Resource Dialogue Generation
von: Zhang, Bo, et al.
Veröffentlicht: (2024)

Dual-Space Knowledge Distillation for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2024)

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models
von: He, Muyu, et al.
Veröffentlicht: (2025)

Delta Knowledge Distillation for Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2025)

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions
von: Fang, Luyang, et al.
Veröffentlicht: (2025)

Cross-Modal Knowledge Distillation for Speech Large Language Models
von: Wang, Enzhi, et al.
Veröffentlicht: (2025)

A Survey on Symbolic Knowledge Distillation of Large Language Models
von: Acharya, Kamal, et al.
Veröffentlicht: (2024)

Distilling Event Sequence Knowledge From Large Language Models
von: Wadhwa, Somin, et al.
Veröffentlicht: (2024)

Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models
von: Wang, Shuo, et al.
Veröffentlicht: (2024)

Knowledge Distillation from Large Language Models for Household Energy Modeling
von: Takrouri, Mohannad, et al.
Veröffentlicht: (2025)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

Knowledge Fusion of Large Language Models
von: Wan, Fanqi, et al.
Veröffentlicht: (2024)

Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation
von: Lin, Qinhong, et al.
Veröffentlicht: (2024)

GateKD: Confidence-Gated Closed-Loop Distillation for Robust Reasoning
von: Sermsri, Kasidit, et al.
Veröffentlicht: (2026)

MKG-Rank: Enhancing Large Language Models with Knowledge Graph for Multilingual Medical Question Answering
von: Li, Feiyang, et al.
Veröffentlicht: (2025)

Memorization Dynamics in Knowledge Distillation for Language Models
von: Borkar, Jaydeep, et al.
Veröffentlicht: (2026)

Revisiting Knowledge Distillation for Autoregressive Language Models
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)

Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models
von: Giarelis, Nikolaos, et al.
Veröffentlicht: (2026)

MMIDR: Teaching Large Language Model to Interpret Multimodal Misinformation via Knowledge Distillation
von: Wang, Longzheng, et al.
Veröffentlicht: (2024)

Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
von: Yang, Chuanpeng, et al.
Veröffentlicht: (2024)

Feature Alignment and Representation Transfer in Knowledge Distillation for Large Language Models
von: Yang, Junjie, et al.
Veröffentlicht: (2025)

LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
von: Li, Dongheng, et al.
Veröffentlicht: (2024)