Buchumschlag

Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tian, Yijun, Han, Yikun, Chen, Xiusi, Wang, Wei, Chawla, Nitesh V.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mixed Distillation Helps Smaller Language Model Better Reasoning
von: Li, Chenglin, et al.
Veröffentlicht: (2023)

CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model
von: Wu, Hui, et al.
Veröffentlicht: (2024)

Breaking Language Barriers: Equitable Performance in Multilingual Language Models
von: Nagar, Tanay, et al.
Veröffentlicht: (2025)

Graph Neural Prompting with Large Language Models
von: Tian, Yijun, et al.
Veröffentlicht: (2023)

Are Your LLMs Capable of Stable Reasoning?
von: Liu, Junnan, et al.
Veröffentlicht: (2024)

Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
von: Kwon, Deuksin, et al.
Veröffentlicht: (2024)

How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning
von: Chen, Haoyang, et al.
Veröffentlicht: (2026)

Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
von: Gody, Reem, et al.
Veröffentlicht: (2025)

Distilling Mathematical Reasoning Capabilities into Small Language Models
von: Zhu, Xunyu, et al.
Veröffentlicht: (2024)

Sandwich Reasoning: An Answer-Reasoning-Answer Approach for Low-Latency Query Correction
von: Zhang, Chen, et al.
Veröffentlicht: (2026)

Surgical Post-Training: Proximal On-Policy Distillation for Reasoning with Knowledge Retention
von: Lin, Wenye, et al.
Veröffentlicht: (2026)

FLANS at SemEval-2026 Task 7: RAG with Open-Sourced Smaller LLMs for Everyday Knowledge Across Diverse Languages and Cultures
von: Bogdanova, Liliia, et al.
Veröffentlicht: (2026)

Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling
von: Xu, Wenda, et al.
Veröffentlicht: (2024)

Distilling Reasoning Without Knowledge: A Framework for Reliable LLMs
von: Kietkajornrit, Auksarapak, et al.
Veröffentlicht: (2026)

Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents
von: Kim, Wonjoong, et al.
Veröffentlicht: (2025)

AutoLLMResearch: Training Research Agents for Automating LLM Experiment Configuration - Learning from Cheap, Optimizing Expensive
von: Guo, Taicheng, et al.
Veröffentlicht: (2026)

Explore the Reasoning Capability of LLMs in the Chess Testbed
von: Wang, Shu, et al.
Veröffentlicht: (2024)

HiBench: Benchmarking LLMs Capability on Hierarchical Structure Reasoning
von: Jiang, Zhuohang, et al.
Veröffentlicht: (2025)

Tracking the Limits of Knowledge Propagation: How LLMs Fail at Multi-Step Reasoning with Conflicting Knowledge
von: Feng, Yiyang, et al.
Veröffentlicht: (2026)

DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination via Evidence and Graph-based Distillation
von: Chen, Jennifer, et al.
Veröffentlicht: (2025)

Beyond Imitation: Learning Key Reasoning Steps from Dual Chain-of-Thoughts in Reasoning Distillation
von: Dai, Chengwei, et al.
Veröffentlicht: (2024)

EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
von: Koo, Hamin, et al.
Veröffentlicht: (2025)

Enhancing Generalization in Chain of Thought Reasoning for Smaller Models
von: Yin, Maxwell J., et al.
Veröffentlicht: (2025)

Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data
von: Liu, Xiao, et al.
Veröffentlicht: (2024)

Can we Soft Prompt LLMs for Graph Learning Tasks?
von: Liu, Zheyuan, et al.
Veröffentlicht: (2024)

Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
von: Padmanabhan, Shankar, et al.
Veröffentlicht: (2026)

LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities
von: Zhu, Yuqi, et al.
Veröffentlicht: (2023)

Geometry of Knowledge Allows Extending Diversity Boundaries of Large Language Models
von: Bystroński, Mateusz, et al.
Veröffentlicht: (2025)

Reinforcement Learning vs. Distillation: Understanding Accuracy and Capability in LLM Reasoning
von: Kim, Minwu, et al.
Veröffentlicht: (2025)

A Desideratum for Conversational Agents: Capabilities, Challenges, and Future Directions
von: Acikgoz, Emre Can, et al.
Veröffentlicht: (2025)

Teaching-Assistant-in-the-Loop: Improving Knowledge Distillation from Imperfect Teacher Models in Low-Budget Scenarios
von: Zhou, Yuhang, et al.
Veröffentlicht: (2024)

Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy
von: Chen, Si, et al.
Veröffentlicht: (2026)

Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning
von: Wang, Kaipeng, et al.
Veröffentlicht: (2024)

Unlocking Reasoning Capabilities in LLMs via Reinforcement Learning Exploration
von: Deng, Wenhao, et al.
Veröffentlicht: (2025)

LLaMA Beyond English: An Empirical Study on Language Capability Transfer
von: Zhao, Jun, et al.
Veröffentlicht: (2024)

Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks
von: Li, Peiyu, et al.
Veröffentlicht: (2025)

Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones?
von: Zhang, Yudi, et al.
Veröffentlicht: (2025)

Does Math Reasoning Improve General LLM Capabilities? Understanding Transferability of LLM Reasoning
von: Huan, Maggie, et al.
Veröffentlicht: (2025)

PEDANTS: Cheap but Effective and Interpretable Answer Equivalence
von: Li, Zongxia, et al.
Veröffentlicht: (2024)

Distilling Text Style Transfer With Self-Explanation From LLMs
von: Zhang, Chiyu, et al.
Veröffentlicht: (2024)