Buchumschlag

Dual-Space Knowledge Distillation with Key-Query Matching for Large Language Models with Vocabulary Mismatch

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tsiapali, Stella Eva, Do, Cong-Thanh, Knill, Kate
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Effectiveness of Chain-of-Thought in Distilling Reasoning Capability from Large Language Models
von: Do, Cong-Thanh, et al.
Veröffentlicht: (2025)

Dual-Space Knowledge Distillation for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2024)

Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
von: Bannò, Stefano, et al.
Veröffentlicht: (2025)

Overcoming Vocabulary Mismatch: Vocabulary-agnostic Teacher Guided Language Modeling
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

ASR Error Correction using Large Language Models
von: Ma, Rao, et al.
Veröffentlicht: (2024)

Correlation and Navigation in the Vocabulary Key Representation Space of Language Models
von: Peng, Letian, et al.
Veröffentlicht: (2024)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models
von: Cong, Youan, et al.
Veröffentlicht: (2024)

Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)

Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs
von: Bannò, Stefano, et al.
Veröffentlicht: (2026)

The Impact of Editorial Intervention on Detecting Native Language Traces
von: Uluslu, Ahmet Yavuz, et al.
Veröffentlicht: (2026)

Adversarial Moment-Matching Distillation of Large Language Models
von: Jia, Chen
Veröffentlicht: (2024)

Zero-shot Audio Topic Reranking using Large Language Models
von: Qian, Mengjie, et al.
Veröffentlicht: (2023)

Knowledge Distillation of Black-Box Large Language Models
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)

Distilling Rule-based Knowledge into Large Language Models
von: Yang, Wenkai, et al.
Veröffentlicht: (2023)

Direct Preference Knowledge Distillation for Large Language Models
von: Li, Yixing, et al.
Veröffentlicht: (2024)

A Survey on Knowledge Distillation of Large Language Models
von: Xu, Xiaohan, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models
von: Xing, Wang, et al.
Veröffentlicht: (2026)

Vocabulary Expansion of Large Language Models via Kullback-Leibler-Based Self-Distillation
von: Linder, Max Rehman
Veröffentlicht: (2025)

SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models
von: Koo, Jahyun, et al.
Veröffentlicht: (2024)

Evolving Knowledge Distillation with Large Language Models and Active Learning
von: Liu, Chengyuan, et al.
Veröffentlicht: (2024)

DDK: Distilling Domain Knowledge for Efficient Large Language Models
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs
von: Su, Siyue, et al.
Veröffentlicht: (2026)

Knowledge Distillation for Large Language Models
von: La Torre, Alejandro Paredes, et al.
Veröffentlicht: (2026)

Large Vocabulary Size Improves Large Language Models
von: Takase, Sho, et al.
Veröffentlicht: (2024)

Assessment of L2 Oral Proficiency using Speech Large Language Models
von: Ma, Rao, et al.
Veröffentlicht: (2025)

Exploiting the English Grammar Profile for L2 grammatical analysis with LLMs
von: Bannò, Stefano, et al.
Veröffentlicht: (2026)

Key-Point-Driven Mathematical Reasoning Distillation of Large Language Model
von: Zhu, Xunyu, et al.
Veröffentlicht: (2024)

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models
von: He, Muyu, et al.
Veröffentlicht: (2025)

MTA: Multi-Granular Trajectory Alignment for Large Language Model Distillation
von: Chi, Pham Khanh, et al.
Veröffentlicht: (2026)

Delta Knowledge Distillation for Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2025)

Investigating the Emergent Audio Classification Ability of ASR Foundation Models
von: Ma, Rao, et al.
Veröffentlicht: (2023)

Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
von: Knill, Kate, et al.
Veröffentlicht: (2024)

Cross-Modal Knowledge Distillation for Speech Large Language Models
von: Wang, Enzhi, et al.
Veröffentlicht: (2025)

A Survey on Symbolic Knowledge Distillation of Large Language Models
von: Acharya, Kamal, et al.
Veröffentlicht: (2024)

Distilling Event Sequence Knowledge From Large Language Models
von: Wadhwa, Somin, et al.
Veröffentlicht: (2024)

EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
von: Wang, Chengyu, et al.
Veröffentlicht: (2025)

$\mathcal{X}$-KD: General Experiential Knowledge Distillation for Large Language Models
von: Cai, Yuang, et al.
Veröffentlicht: (2026)

Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models
von: Wang, Shuo, et al.
Veröffentlicht: (2024)

Knowledge Distillation from Large Language Models for Household Energy Modeling
von: Takrouri, Mohannad, et al.
Veröffentlicht: (2025)