Buchumschlag

PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Gyeongman, Jang, Doohyuk, Yang, Eunho
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
von: Kim, Gyeongman, et al.
Veröffentlicht: (2025)

Verifying Meta-Awareness via Predictive Rewards in Reasoning Models
von: Kim, Yoonjeon, et al.
Veröffentlicht: (2025)

Pruning and Distilling Mixture-of-Experts into Dense Language Models
von: Kim, Junhyuck, et al.
Veröffentlicht: (2026)

Med-PerSAM: One-Shot Visual Prompt Tuning for Personalized Segment Anything Model in Medical Domain
von: Yoon, Hangyul, et al.
Veröffentlicht: (2024)

No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
von: Le, Thanh-Long V., et al.
Veröffentlicht: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

Automatic Prompt Optimization with Prompt Distillation
von: Dyagin, Ernest A., et al.
Veröffentlicht: (2025)

Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
von: Vöge, Lukas, et al.
Veröffentlicht: (2024)

Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
von: Lan, Pengxiang, et al.
Veröffentlicht: (2024)

Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation
von: Ajwani, Rohan Deepak, et al.
Veröffentlicht: (2024)

PromptKD: Unsupervised Prompt Distillation for Vision-Language Models
von: Li, Zheng, et al.
Veröffentlicht: (2024)

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2026)

Subgraph-level Universal Prompt Tuning
von: Lee, Junhyun, et al.
Veröffentlicht: (2024)

DynaPrompt: Dynamic Test-Time Prompt Tuning
von: Xiao, Zehao, et al.
Veröffentlicht: (2025)

Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
von: Choi, Yunseon, et al.
Veröffentlicht: (2024)

Large Language Model Unlearning via Embedding-Corrupted Prompts
von: Liu, Chris Yuhao, et al.
Veröffentlicht: (2024)

GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer
von: Cho, Junmo, et al.
Veröffentlicht: (2026)

KDA: A Knowledge-Distilled Attacker for Generating Diverse Prompts to Jailbreak LLMs
von: Liang, Buyun, et al.
Veröffentlicht: (2025)

Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Goal-Aware Prompt Formulation
von: Jeong, Jiwon, et al.
Veröffentlicht: (2025)

Language Model Prompt Selection via Simulation Optimization
von: Zhang, Haoting, et al.
Veröffentlicht: (2024)

DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
von: Li, Jinyang, et al.
Veröffentlicht: (2025)

Compact Language Models via Pruning and Knowledge Distillation
von: Muralidharan, Saurav, et al.
Veröffentlicht: (2024)

RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents
von: Chen, Weizhe, et al.
Veröffentlicht: (2024)

Prompt Optimization Via Diffusion Language Models
von: Wang, Shiyu, et al.
Veröffentlicht: (2026)

MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
von: Wen, Yilin, et al.
Veröffentlicht: (2023)

Selective Prompting Tuning for Personalized Conversations with LLMs
von: Huang, Qiushi, et al.
Veröffentlicht: (2024)

Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data Generation with Large Language Models
von: Xu, Ran, et al.
Veröffentlicht: (2023)

APPL: A Prompt Programming Language for Harmonious Integration of Programs and Large Language Model Prompts
von: Dong, Honghua, et al.
Veröffentlicht: (2024)

Revisiting Prompt Sensitivity in Large Language Models for Text Classification: The Role of Prompt Underspecification
von: Pecher, Branislav, et al.
Veröffentlicht: (2026)

Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows
von: Ayala, Orlando Marquez, et al.
Veröffentlicht: (2025)

Soft Prompt Tuning for Augmenting Dense Retrieval with Large Language Models
von: Peng, Zhiyuan, et al.
Veröffentlicht: (2023)

On Prompt-Driven Safeguarding for Large Language Models
von: Zheng, Chujie, et al.
Veröffentlicht: (2024)

Soft Prompting for Unlearning in Large Language Models
von: Bhaila, Karuna, et al.
Veröffentlicht: (2024)

Graph Neural Prompting with Large Language Models
von: Tian, Yijun, et al.
Veröffentlicht: (2023)

Structured Prompts Improve Evaluation of Language Models
von: Aali, Asad, et al.
Veröffentlicht: (2025)

TopicTag: Automatic Annotation of NMF Topic Models Using Chain of Thought and Prompt Tuning with LLMs
von: Wanna, Selma, et al.
Veröffentlicht: (2024)

Instruction Fine-Tuning: Does Prompt Loss Matter?
von: Huerta-Enochian, Mathew, et al.
Veröffentlicht: (2024)

Prompting Fairness: Integrating Causality to Debias Large Language Models
von: Li, Jingling, et al.
Veröffentlicht: (2024)

DSG-KD: Knowledge Distillation from Domain-Specific to General Language Models
von: Cho, Sangyeon, et al.
Veröffentlicht: (2024)

Prompt Attacks Reveal Superficial Knowledge Removal in Unlearning Methods
von: Jang, Yeonwoo, et al.
Veröffentlicht: (2025)