Buchumschlag

Basic Reading Distillation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Zhi, Miao, Sirui, Duan, Xiangyu, Yang, Hao, Zhang, Min
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning While Staying Curious: Entropy-Preserving Supervised Fine-Tuning via Adaptive Self-Distillation for Large Reasoning Models
von: Wang, Hao, et al.
Veröffentlicht: (2026)

Quantification of Large Language Model Distillation
von: Lee, Sunbowen, et al.
Veröffentlicht: (2025)

Automated Item Neutralization for Non-Cognitive Scales: A Large Language Model Approach to Reducing Social-Desirability Bias
von: Wu, Sirui, et al.
Veröffentlicht: (2025)

BoRP: Bootstrapped Regression Probing for Scalable and Human-Aligned LLM Evaluation
von: Sun, Peng, et al.
Veröffentlicht: (2026)

MiniPLM: Knowledge Distillation for Pre-Training Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2024)

AI4Reading: Chinese Audiobook Interpretation System Based on Multi-Agent Collaboration
von: Huang, Minjiang, et al.
Veröffentlicht: (2025)

LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation
von: Wang, Keheng, et al.
Veröffentlicht: (2024)

Improving Latent Reasoning in LLMs via Soft Concept Mixing
von: Wang, Kang, et al.
Veröffentlicht: (2025)

Capturing Nuanced Preferences: Preference-Aligned Distillation for Small Language Models
von: Gu, Yanggan, et al.
Veröffentlicht: (2025)

FRAME: Boosting LLMs with A Four-Quadrant Multi-Stage Pretraining Strategy
von: Zhang, Xuemiao, et al.
Veröffentlicht: (2025)

CKD-EHR:Clinical Knowledge Distillation for Electronic Health Records
von: Wang, Junke, et al.
Veröffentlicht: (2025)

FIRE: Flexible Integration of Data Quality Ratings for Effective Pre-Training
von: Xu, Liangyu, et al.
Veröffentlicht: (2025)

Enhancing LLMs via High-Knowledge Data Selection
von: Duan, Feiyu, et al.
Veröffentlicht: (2025)

In-Context Learning Distillation for Efficient Few-Shot Fine-Tuning
von: Duan, Yifei, et al.
Veröffentlicht: (2024)

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation
von: Zhou, Hongli, et al.
Veröffentlicht: (2026)

Distilling Rule-based Knowledge into Large Language Models
von: Yang, Wenkai, et al.
Veröffentlicht: (2023)

Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation
von: Liu, Kaiyuan, et al.
Veröffentlicht: (2025)

Preference Curriculum: LLMs Should Always Be Pretrained on Their Preferred Data
von: Zhang, Xuemiao, et al.
Veröffentlicht: (2025)

Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
von: Huang, Chenyang, et al.
Veröffentlicht: (2025)

Self-Distilled RLVR
von: Yang, Chenxu, et al.
Veröffentlicht: (2026)

RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step
von: Luo, Xiaocheng, et al.
Veröffentlicht: (2026)

Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework
von: Wang, Maolin, et al.
Veröffentlicht: (2025)

EGAD: Entropy-Guided Adaptive Distillation for Token-Level Knowledge Transfer
von: Zhang, Hao, et al.
Veröffentlicht: (2026)

COLA-GEC: A Bidirectional Framework for Enhancing Grammatical Acceptability and Error Correction
von: Yang, Xiangyu, et al.
Veröffentlicht: (2025)

First Place Solution of 2023 Global Artificial Intelligence Technology Innovation Competition Track 1
von: Wu, Xiangyu, et al.
Veröffentlicht: (2024)

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)

Slow Tuning and Low-Entropy Masking for Safe Chain-of-Thought Distillation
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models
von: Rao, Jun, et al.
Veröffentlicht: (2024)

Not Just the Destination, But the Journey: Reasoning Traces Causally Shape Generalization Behaviors
von: Wen, Pengcheng, et al.
Veröffentlicht: (2026)

AdaSwitch: Balancing Exploration and Guidance in Knowledge Distillation via Adaptive Switching
von: Peng, Jingyu, et al.
Veröffentlicht: (2025)

Keypoint-based Progressive Chain-of-Thought Distillation for LLMs
von: Feng, Kaituo, et al.
Veröffentlicht: (2024)

Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)

Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation
von: Jia, Pengyue, et al.
Veröffentlicht: (2024)

Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation
von: Guo, Shoutao, et al.
Veröffentlicht: (2025)

Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze
von: Li, Yiyang, et al.
Veröffentlicht: (2024)

ThinkPatterns-21k: A Systematic Study on the Impact of Thinking Patterns in LLMs
von: Wen, Pengcheng, et al.
Veröffentlicht: (2025)

Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding
von: Fan, Yue, et al.
Veröffentlicht: (2024)

Arrows of Math Reasoning Data Synthesis for Large Language Models: Diversity, Complexity and Correctness
von: Chen, Sirui, et al.
Veröffentlicht: (2025)

Kanbun-LM: Reading and Translating Classical Chinese in Japanese Methods by Language Models
von: Wang, Hao, et al.
Veröffentlicht: (2023)

Distribution Corrected Offline Data Distillation for Large Language Models
von: Zhang, Yumeng, et al.
Veröffentlicht: (2026)