Buchumschlag

LLMR: Knowledge Distillation with a Large Language Model-Induced Reward

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Dongheng, Hao, Yongchang, Mou, Lili
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LLMR: Real-time Prompting of Interactive Worlds using Large Language Models
von: De La Torre, Fernanda, et al.
Veröffentlicht: (2023)

TokMem: One-Token Procedural Memory for Large Language Models
von: Wu, Zijun, et al.
Veröffentlicht: (2025)

Multi-Persona Thinking for Bias Mitigation in Large Language Models
von: Chen, Yuxing, et al.
Veröffentlicht: (2026)

Cross-Modal Knowledge Distillation for Speech Large Language Models
von: Wang, Enzhi, et al.
Veröffentlicht: (2025)

Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models
von: Wu, Zijun, et al.
Veröffentlicht: (2023)

Dual-Space Knowledge Distillation for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2024)

Contextualization Distillation from Large Language Model for Knowledge Graph Completion
von: Li, Dawei, et al.
Veröffentlicht: (2024)

Distilling Event Sequence Knowledge From Large Language Models
von: Wadhwa, Somin, et al.
Veröffentlicht: (2024)

EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
von: Wang, Chengyu, et al.
Veröffentlicht: (2025)

Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
von: Luo, Guoqing, et al.
Veröffentlicht: (2025)

Delta Knowledge Distillation for Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2025)

Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
von: Yang, Chuanpeng, et al.
Veröffentlicht: (2024)

Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
von: Wu, Taiqiang, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Large Language Models
von: La Torre, Alejandro Paredes, et al.
Veröffentlicht: (2026)

Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
von: Hao, Yongchang, et al.
Veröffentlicht: (2026)

Enhancing Large Language Models with Reward-guided Tree Search for Knowledge Graph Question and Answering
von: Long, Xiao, et al.
Veröffentlicht: (2025)

Revisiting Intermediate-Layer Matching in Knowledge Distillation: Layer-Selection Strategy Doesn't Matter (Much)
von: Yu, Zony, et al.
Veröffentlicht: (2025)

Declarative Knowledge Distillation from Large Language Models for Visual Question Answering Datasets
von: Eiter, Thomas, et al.
Veröffentlicht: (2024)

Less is More: Selective Reflection for Compatible and Efficient Knowledge Distillation in Large Language Models
von: Liu, Lingyuan, et al.
Veröffentlicht: (2025)

Knowledge Editing on Black-box Large Language Models
von: Song, Xiaoshuai, et al.
Veröffentlicht: (2024)

Pre-training Distillation for Large Language Models: A Design Space Exploration
von: Peng, Hao, et al.
Veröffentlicht: (2024)

Ensemble Distillation for Unsupervised Constituency Parsing
von: Shayegh, Behzad, et al.
Veröffentlicht: (2023)

MiniLLM: On-Policy Distillation of Large Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2023)

MemoryRewardBench: Benchmarking Reward Models for Long-Term Memory Management in Large Language Models
von: Tang, Zecheng, et al.
Veröffentlicht: (2026)

Black-Box On-Policy Distillation of Large Language Models
von: Ye, Tianzhu, et al.
Veröffentlicht: (2025)

LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models
von: Yang, Runming, et al.
Veröffentlicht: (2024)

Reviving The Classics: Active Reward Modeling in Large Language Model Alignment
von: Shen, Yunyi, et al.
Veröffentlicht: (2025)

Ultra-Low-Dimensional Prompt Tuning via Random Projection
von: Wu, Zijun, et al.
Veröffentlicht: (2025)

Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation
von: He, Bowei, et al.
Veröffentlicht: (2026)

Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones?
von: Zhang, Yudi, et al.
Veröffentlicht: (2025)

Thinking with DistilQwen: A Tale of Four Distilled Reasoning and Reward Model Series
von: Cai, Wenrui, et al.
Veröffentlicht: (2025)

Structured Agent Distillation for Large Language Model
von: Liu, Jun, et al.
Veröffentlicht: (2025)

Key-Point-Driven Mathematical Reasoning Distillation of Large Language Model
von: Zhu, Xunyu, et al.
Veröffentlicht: (2024)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models
von: Wang, Wei, et al.
Veröffentlicht: (2024)

Sycophancy to Subterfuge: Investigating Reward-Tampering in Large Language Models
von: Denison, Carson, et al.
Veröffentlicht: (2024)

Self-Rewarding Language Models
von: Yuan, Weizhe, et al.
Veröffentlicht: (2024)

Flora: Low-Rank Adapters Are Secretly Gradient Compressors
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks
von: Hao, Yongchang, et al.
Veröffentlicht: (2024)

Large Language Models Explore by Latent Distilling
von: Zeng, Yuanhao, et al.
Veröffentlicht: (2026)