Buchumschlag

Less is More: Selective Reflection for Compatible and Efficient Knowledge Distillation in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Lingyuan, Zhang, Mengxiang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Being Strong Progressively! Enhancing Knowledge Distillation of Large Language Models through a Curriculum Learning Framework
von: Liu, Lingyuan, et al.
Veröffentlicht: (2025)

Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion
von: Liu, Lingyuan, et al.
Veröffentlicht: (2025)

GOLFer: Smaller LM-Generated Documents Hallucination Filter & Combiner for Query Expansion in Information Retrieval
von: Liu, Lingyuan, et al.
Veröffentlicht: (2025)

Hallucinate Less by Thinking More: Aspect-Based Causal Abstention for Large Language Models
von: Nguyen, Vy, et al.
Veröffentlicht: (2025)

Dual-Space Knowledge Distillation for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2024)

Less is More: Resource-Efficient Low-Rank Adaptation
von: Tian, Chunlin, et al.
Veröffentlicht: (2025)

Acting Less is Reasoning More! Teaching Model to Act Efficiently
von: Wang, Hongru, et al.
Veröffentlicht: (2025)

Contextualization Distillation from Large Language Model for Knowledge Graph Completion
von: Li, Dawei, et al.
Veröffentlicht: (2024)

LIMO: Less is More for Reasoning
von: Ye, Yixin, et al.
Veröffentlicht: (2025)

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2026)

LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models
von: Yang, Runming, et al.
Veröffentlicht: (2024)

Cross-Modal Knowledge Distillation for Speech Large Language Models
von: Wang, Enzhi, et al.
Veröffentlicht: (2025)

Distilling Event Sequence Knowledge From Large Language Models
von: Wadhwa, Somin, et al.
Veröffentlicht: (2024)

EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
von: Wang, Chengyu, et al.
Veröffentlicht: (2025)

Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems
von: Varangot-Reille, Clovis, et al.
Veröffentlicht: (2025)

Delta Knowledge Distillation for Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2025)

Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
von: Yang, Chuanpeng, et al.
Veröffentlicht: (2024)

LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
von: Li, Dongheng, et al.
Veröffentlicht: (2024)

Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
von: Wu, Taiqiang, et al.
Veröffentlicht: (2024)

Knowledge Distillation for Large Language Models
von: La Torre, Alejandro Paredes, et al.
Veröffentlicht: (2026)

Less is More: Local Intrinsic Dimensions of Contextual Language Models
von: Ruppik, Benjamin Matthias, et al.
Veröffentlicht: (2025)

Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation
von: He, Bowei, et al.
Veröffentlicht: (2026)

Knowledge Graph-Enhanced Large Language Models via Path Selection
von: Liu, Haochen, et al.
Veröffentlicht: (2024)

Not-So-Strange Love: Language Models and Generative Linguistic Theories are More Compatible than They Appear
von: McCoy, R. Thomas
Veröffentlicht: (2026)

Soundwave: Less is More for Speech-Text Alignment in LLMs
von: Zhang, Yuhao, et al.
Veröffentlicht: (2025)

Less is More: Denoising Knowledge Graphs For Retrieval Augmented Generation
von: Zheng, Yilun, et al.
Veröffentlicht: (2025)

Less is More for RAG: Information Gain Pruning for Generator-Aligned Reranking and Evidence Selection
von: Song, Zhipeng, et al.
Veröffentlicht: (2026)

Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM
von: Liu, Yibai, et al.
Veröffentlicht: (2025)

Know More, Know Clearer: A Meta-Cognitive Framework for Knowledge Augmentation in Large Language Models
von: Chen, Hao, et al.
Veröffentlicht: (2026)

UNLEARN Efficient Removal of Knowledge in Large Language Models
von: Lizzo, Tyler, et al.
Veröffentlicht: (2024)

Declarative Knowledge Distillation from Large Language Models for Visual Question Answering Datasets
von: Eiter, Thomas, et al.
Veröffentlicht: (2024)

Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning
von: He, Guoxiu, et al.
Veröffentlicht: (2025)

LIMR: Less is More for RL Scaling
von: Li, Xuefeng, et al.
Veröffentlicht: (2025)

Efficient Reasoning Through Suppression of Self-Affirmation Reflections in Large Reasoning Models
von: Liu, Kaiyuan, et al.
Veröffentlicht: (2025)

Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs
von: Zhang, Yifei, et al.
Veröffentlicht: (2024)

Debate, Reflect, and Distill: Multi-Agent Feedback with Tree-Structured Preference Optimization for Efficient Language Model Enhancement
von: Zhou, Xiaofeng, et al.
Veröffentlicht: (2025)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

Less is More: Improving LLM Alignment via Preference Data Selection
von: Deng, Xun, et al.
Veröffentlicht: (2025)

Less Is More: Elevating RAG via Performance-Driven Context Compression
von: Cui, Ziqiang, et al.
Veröffentlicht: (2025)

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
von: Huang, Haiduo, et al.
Veröffentlicht: (2025)