Copertina

Distillation Traps and Guards: A Calibration Knob for LLM Distillability

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhan, Weixiao, Jing, Yongcheng, Rutkowski, Leszek, Tao, Dacheng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting
di: Chi, Jinjin, et al.
Pubblicazione: (2026)

CoVeR: Conformal Calibration for Versatile and Reliable Autoregressive Next-Token Prediction
di: Chen, Yuzhu, et al.
Pubblicazione: (2025)

Offline Behavior Distillation
di: Lei, Shiye, et al.
Pubblicazione: (2024)

Validity-Calibrated Reasoning Distillation
di: Saadi, Khouloud, et al.
Pubblicazione: (2026)

The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation
di: Zhang, Jiaxin, et al.
Pubblicazione: (2026)

TaxDistill: Improving Metagenomic Taxonomic Annotation via Distilled Genomic Foundation Models
di: Ye, Rongye, et al.
Pubblicazione: (2026)

Membership and Memorization in LLM Knowledge Distillation
di: Zhang, Ziqi, et al.
Pubblicazione: (2025)

SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models
di: Sun, Wenhao, et al.
Pubblicazione: (2026)

Distilling Calibration via Conformalized Credal Inference
di: Huang, Jiayi, et al.
Pubblicazione: (2025)

Adversarial Distilled Retrieval-Augmented Guarding Model for Online Malicious Intent Detection
di: Guo, Yihao, et al.
Pubblicazione: (2025)

Reinforcement-aware Knowledge Distillation for LLM Reasoning
di: Zhang, Zhaoyang, et al.
Pubblicazione: (2026)

LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning
di: Xu, Junjie, et al.
Pubblicazione: (2024)

The Role of Teacher Calibration in Knowledge Distillation
di: Kim, Suyoung, et al.
Pubblicazione: (2025)

ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
di: Singh, Aasheesh, et al.
Pubblicazione: (2025)

Disentangled Representation Learning via Flow Matching
di: Chi, Jinjin, et al.
Pubblicazione: (2026)

TimeGuard: Channel-wise Pool Training for Backdoor Defense in Time Series Forecasting
di: Nguyen, Quang Duc, et al.
Pubblicazione: (2026)

DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher
di: Zhong, Yisheng, et al.
Pubblicazione: (2026)

Behaviour Distillation
di: Lupu, Andrei, et al.
Pubblicazione: (2024)

PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence
di: Xu, Yuanda, et al.
Pubblicazione: (2026)

d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation
di: Qian, Yu-Yang, et al.
Pubblicazione: (2026)

HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation
di: Ding, Ken
Pubblicazione: (2026)

Advancing Model Refinement: Muon-Optimized Distillation and Quantization for LLM Deployment
di: Sander, Jacob, et al.
Pubblicazione: (2026)

ODIA: Oriented Distillation for Inline Acceleration of LLM-based Function Calling
di: Zhang, Hanlong, et al.
Pubblicazione: (2025)

Collaborative Adaptive Curriculum for Progressive Knowledge Distillation
di: Liu, Jing, et al.
Pubblicazione: (2026)

LLM Pruning and Distillation in Practice: The Minitron Approach
di: Sreenivas, Sharath Turuvekere, et al.
Pubblicazione: (2024)

Proximal Policy Distillation
di: Spigler, Giacomo
Pubblicazione: (2024)

Distillation Robustifies Unlearning
di: Lee, Bruce W., et al.
Pubblicazione: (2025)

FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs
di: Yu, Chenyang, et al.
Pubblicazione: (2025)

WAter: A Workload-Adaptive Knob Tuning System based on Workload Compression
di: Wang, Yibo, et al.
Pubblicazione: (2026)

On the Diversity and Realism of Distilled Dataset: An Efficient Dataset Distillation Paradigm
di: Sun, Peng, et al.
Pubblicazione: (2023)

DOT: Dynamic Knob Selection and Online Sampling for Automated Database Tuning
di: Wang, Yifan, et al.
Pubblicazione: (2026)

Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning
di: Liu, Zehao, et al.
Pubblicazione: (2026)

SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
di: Zheng, Binbin, et al.
Pubblicazione: (2026)

Aligning Dense Retrievers with LLM Utility via Distillation
di: Sandhu, Rajinder, et al.
Pubblicazione: (2026)

Scalable LLM Reasoning Acceleration with Low-rank Distillation
di: Dong, Harry, et al.
Pubblicazione: (2025)

Rubric-based On-policy Distillation
di: Fang, Junfeng, et al.
Pubblicazione: (2026)

Extreme Region Policy Distillation
di: Chen, Changyu, et al.
Pubblicazione: (2026)

Prioritize Alignment in Dataset Distillation
di: Li, Zekai, et al.
Pubblicazione: (2024)

Distilled Protein Backbone Generation
di: Xie, Liyang, et al.
Pubblicazione: (2025)

Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
di: Wu, Lirong, et al.
Pubblicazione: (2024)