Distilling Rule-based Knowledge into Large Language Models
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Yang, Wenkai, Lin, Yankai, Zhou, Jie, Wen, Ji-Rong |
|---|---|
| Format: | Preprint |
| Publié: |
2023
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
DeepCritic: Deliberate Critique with Large Language Models
par: Yang, Wenkai, et autres
Publié: (2025)
par: Yang, Wenkai, et autres
Publié: (2025)
Large Language Model-based Human-Agent Collaboration for Complex Task Solving
par: Feng, Xueyang, et autres
Publié: (2024)
par: Feng, Xueyang, et autres
Publié: (2024)
ICLEval: Evaluating In-Context Learning Ability of Large Language Models
par: Chen, Wentong, et autres
Publié: (2024)
par: Chen, Wentong, et autres
Publié: (2024)
Exploring Backdoor Vulnerabilities of Chat Models
par: Hao, Yunzhuo, et autres
Publié: (2024)
par: Hao, Yunzhuo, et autres
Publié: (2024)
Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning
par: Guo, Yiju, et autres
Publié: (2025)
par: Guo, Yiju, et autres
Publié: (2025)
Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization
par: Yang, Wenkai, et autres
Publié: (2024)
par: Yang, Wenkai, et autres
Publié: (2024)
Large Language Diffusion Models
par: Nie, Shen, et autres
Publié: (2025)
par: Nie, Shen, et autres
Publié: (2025)
Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
par: Yang, Wenkai, et autres
Publié: (2026)
par: Yang, Wenkai, et autres
Publié: (2026)
Does Knowledge Distillation Matter for Large Language Model based Bundle Generation?
par: Feng, Kaidong, et autres
Publié: (2025)
par: Feng, Kaidong, et autres
Publié: (2025)
Knowledge Distillation of Black-Box Large Language Models
par: Chen, Hongzhan, et autres
Publié: (2024)
par: Chen, Hongzhan, et autres
Publié: (2024)
Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation
par: He, Bowei, et autres
Publié: (2026)
par: He, Bowei, et autres
Publié: (2026)
A Survey on Large Language Model based Autonomous Agents
par: Wang, Lei, et autres
Publié: (2023)
par: Wang, Lei, et autres
Publié: (2023)
Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models
par: Xing, Wang, et autres
Publié: (2026)
par: Xing, Wang, et autres
Publié: (2026)
MiniPLM: Knowledge Distillation for Pre-Training Language Models
par: Gu, Yuxian, et autres
Publié: (2024)
par: Gu, Yuxian, et autres
Publié: (2024)
DDK: Distilling Domain Knowledge for Efficient Large Language Models
par: Liu, Jiaheng, et autres
Publié: (2024)
par: Liu, Jiaheng, et autres
Publié: (2024)
Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning
par: Yang, Wenkai, et autres
Publié: (2025)
par: Yang, Wenkai, et autres
Publié: (2025)
A Survey on Knowledge Distillation of Large Language Models
par: Xu, Xiaohan, et autres
Publié: (2024)
par: Xu, Xiaohan, et autres
Publié: (2024)
Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents
par: Yang, Wenkai, et autres
Publié: (2024)
par: Yang, Wenkai, et autres
Publié: (2024)
Neuron-based Personality Trait Induction in Large Language Models
par: Deng, Jia, et autres
Publié: (2024)
par: Deng, Jia, et autres
Publié: (2024)
Towards Codable Watermarking for Injecting Multi-bits Information to LLMs
par: Wang, Lean, et autres
Publié: (2023)
par: Wang, Lean, et autres
Publié: (2023)
Knowledge Acquisition Disentanglement for Knowledge-based Visual Question Answering with Large Language Models
par: An, Wenbin, et autres
Publié: (2024)
par: An, Wenbin, et autres
Publié: (2024)
Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation
par: Feng, Kaidong, et autres
Publié: (2025)
par: Feng, Kaidong, et autres
Publié: (2025)
Quantification of Large Language Model Distillation
par: Lee, Sunbowen, et autres
Publié: (2025)
par: Lee, Sunbowen, et autres
Publié: (2025)
Direct Preference Knowledge Distillation for Large Language Models
par: Li, Yixing, et autres
Publié: (2024)
par: Li, Yixing, et autres
Publié: (2024)
A Dual-Space Framework for General Knowledge Distillation of Large Language Models
par: Zhang, Xue, et autres
Publié: (2025)
par: Zhang, Xue, et autres
Publié: (2025)
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
par: Zhang, Ying, et autres
Publié: (2024)
par: Zhang, Ying, et autres
Publié: (2024)
SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models
par: Koo, Jahyun, et autres
Publié: (2024)
par: Koo, Jahyun, et autres
Publié: (2024)
Evolving Knowledge Distillation with Large Language Models and Active Learning
par: Liu, Chengyuan, et autres
Publié: (2024)
par: Liu, Chengyuan, et autres
Publié: (2024)
ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning
par: Luo, Linhao, et autres
Publié: (2023)
par: Luo, Linhao, et autres
Publié: (2023)
Knowledge Distillation for Large Language Models
par: La Torre, Alejandro Paredes, et autres
Publié: (2026)
par: La Torre, Alejandro Paredes, et autres
Publié: (2026)
Dual-Space Knowledge Distillation for Large Language Models
par: Zhang, Songming, et autres
Publié: (2024)
par: Zhang, Songming, et autres
Publié: (2024)
Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models
par: Chen, Jie, et autres
Publié: (2024)
par: Chen, Jie, et autres
Publié: (2024)
Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
par: Wu, Taiqiang, et autres
Publié: (2024)
par: Wu, Taiqiang, et autres
Publié: (2024)
Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment
par: Chen, Zhipeng, et autres
Publié: (2024)
par: Chen, Zhipeng, et autres
Publié: (2024)
The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models
par: He, Muyu, et autres
Publié: (2025)
par: He, Muyu, et autres
Publié: (2025)
Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers
par: Tang, Xinyu, et autres
Publié: (2024)
par: Tang, Xinyu, et autres
Publié: (2024)
Distilling Implicit Multimodal Knowledge into Large Language Models for Zero-Resource Dialogue Generation
par: Zhang, Bo, et autres
Publié: (2024)
par: Zhang, Bo, et autres
Publié: (2024)
Delta Knowledge Distillation for Large Language Models
par: Cao, Yihan, et autres
Publié: (2025)
par: Cao, Yihan, et autres
Publié: (2025)
Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
par: Yang, Chuanpeng, et autres
Publié: (2024)
par: Yang, Chuanpeng, et autres
Publié: (2024)
The Rise of Parameter Specialization for Knowledge Storage in Large Language Models
par: Hong, Yihuai, et autres
Publié: (2025)
par: Hong, Yihuai, et autres
Publié: (2025)
Documents similaires
-
DeepCritic: Deliberate Critique with Large Language Models
par: Yang, Wenkai, et autres
Publié: (2025) -
Large Language Model-based Human-Agent Collaboration for Complex Task Solving
par: Feng, Xueyang, et autres
Publié: (2024) -
ICLEval: Evaluating In-Context Learning Ability of Large Language Models
par: Chen, Wentong, et autres
Publié: (2024) -
Exploring Backdoor Vulnerabilities of Chat Models
par: Hao, Yunzhuo, et autres
Publié: (2024) -
Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning
par: Guo, Yiju, et autres
Publié: (2025)