DistillLens: Symmetric Knowledge Distillation Through Logit Lens
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Dhakal, Manish, Jinadu, Uthman, Budathoki, Anjila, Sunderraman, Rajshekhar, Ding, Yi |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2026
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation
von: Budathoki, Anjila, et al.
Veröffentlicht: (2025)
von: Budathoki, Anjila, et al.
Veröffentlicht: (2025)
Functional Python Programming in Introductory Computer Science Courses
von: Sunderraman, Rajshekhar
Veröffentlicht: (2025)
von: Sunderraman, Rajshekhar
Veröffentlicht: (2025)
GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
von: Dhakal, Manish, et al.
Veröffentlicht: (2025)
von: Dhakal, Manish, et al.
Veröffentlicht: (2025)
Noise Correction on Subjective Datasets
von: Jinadu, Uthman, et al.
Veröffentlicht: (2023)
von: Jinadu, Uthman, et al.
Veröffentlicht: (2023)
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
von: Ye, Hui, et al.
Veröffentlicht: (2023)
von: Ye, Hui, et al.
Veröffentlicht: (2023)
LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models
von: Wang, Zhenyu
Veröffentlicht: (2025)
von: Wang, Zhenyu
Veröffentlicht: (2025)
Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation
von: Klimaszewski, Mateusz, et al.
Veröffentlicht: (2024)
von: Klimaszewski, Mateusz, et al.
Veröffentlicht: (2024)
LoCa: Logit Calibration for Knowledge Distillation
von: Yang, Runming, et al.
Veröffentlicht: (2024)
von: Yang, Runming, et al.
Veröffentlicht: (2024)
Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs
von: Boizard, Nicolas, et al.
Veröffentlicht: (2024)
von: Boizard, Nicolas, et al.
Veröffentlicht: (2024)
Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
von: Phukan, Anirudh, et al.
Veröffentlicht: (2024)
von: Phukan, Anirudh, et al.
Veröffentlicht: (2024)
Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
von: Anshumann, et al.
Veröffentlicht: (2025)
von: Anshumann, et al.
Veröffentlicht: (2025)
UAV3D: A Large-scale 3D Perception Benchmark for Unmanned Aerial Vehicles
von: Ye, Hui, et al.
Veröffentlicht: (2024)
von: Ye, Hui, et al.
Veröffentlicht: (2024)
Exploring Concreteness Through a Figurative Lens
von: Ghosh, Saptarshi, et al.
Veröffentlicht: (2026)
von: Ghosh, Saptarshi, et al.
Veröffentlicht: (2026)
Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
von: Xiao, Chenghao, et al.
Veröffentlicht: (2025)
von: Xiao, Chenghao, et al.
Veröffentlicht: (2025)
Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall
von: Wang, Qianli, et al.
Veröffentlicht: (2025)
von: Wang, Qianli, et al.
Veröffentlicht: (2025)
OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
von: Zhou, Yuhang, et al.
Veröffentlicht: (2026)
von: Zhou, Yuhang, et al.
Veröffentlicht: (2026)
Knowledge Distillation with Refined Logits
von: Sun, Wujie, et al.
Veröffentlicht: (2024)
von: Sun, Wujie, et al.
Veröffentlicht: (2024)
Logit Standardization in Knowledge Distillation
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)
To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation
von: Waheed, Abdul, et al.
Veröffentlicht: (2024)
von: Waheed, Abdul, et al.
Veröffentlicht: (2024)
Revisiting Knowledge Distillation for Autoregressive Language Models
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)
InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)
UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models
von: Dong, Yijiang River, et al.
Veröffentlicht: (2024)
von: Dong, Yijiang River, et al.
Veröffentlicht: (2024)
Self-Evolution Knowledge Distillation for LLM-based Machine Translation
von: Song, Yuncheng, et al.
Veröffentlicht: (2024)
von: Song, Yuncheng, et al.
Veröffentlicht: (2024)
Rethinking Selective Knowledge Distillation
von: Tavor, Almog, et al.
Veröffentlicht: (2026)
von: Tavor, Almog, et al.
Veröffentlicht: (2026)
Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens
von: AlKhamissi, Mai, et al.
Veröffentlicht: (2025)
von: AlKhamissi, Mai, et al.
Veröffentlicht: (2025)
BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation
von: Li, Minchong, et al.
Veröffentlicht: (2024)
von: Li, Minchong, et al.
Veröffentlicht: (2024)
Knowledge Distillation of Black-Box Large Language Models
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)
Representation Collapse in Machine Translation Through the Lens of Angular Dispersion
von: Tokarchuk, Evgeniia, et al.
Veröffentlicht: (2026)
von: Tokarchuk, Evgeniia, et al.
Veröffentlicht: (2026)
PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation
von: Zhong, Qihuang, et al.
Veröffentlicht: (2022)
von: Zhong, Qihuang, et al.
Veröffentlicht: (2022)
Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs
von: Bombieri, Marco, et al.
Veröffentlicht: (2026)
von: Bombieri, Marco, et al.
Veröffentlicht: (2026)
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
von: Askari, Hadi, et al.
Veröffentlicht: (2024)
von: Askari, Hadi, et al.
Veröffentlicht: (2024)
Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)
HistLens: Mapping Idea Change across Concepts and Corpora
von: Jing, Yi, et al.
Veröffentlicht: (2026)
von: Jing, Yi, et al.
Veröffentlicht: (2026)
Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?
von: Mim, Sazia Tabasum, et al.
Veröffentlicht: (2026)
von: Mim, Sazia Tabasum, et al.
Veröffentlicht: (2026)
Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models
von: Rao, Jun, et al.
Veröffentlicht: (2024)
von: Rao, Jun, et al.
Veröffentlicht: (2024)
Knowledge Distillation with Training Wheels
von: Liu, Guanlin, et al.
Veröffentlicht: (2025)
von: Liu, Guanlin, et al.
Veröffentlicht: (2025)
Understanding Machine Unlearning Through the Lens of Mode Connectivity
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)
Fairness of Automatic Speech Recognition: Looking Through a Philosophical Lens
von: Choi, Anna Seo Gyeong, et al.
Veröffentlicht: (2025)
von: Choi, Anna Seo Gyeong, et al.
Veröffentlicht: (2025)
Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling
von: Xu, Wenda, et al.
Veröffentlicht: (2024)
von: Xu, Wenda, et al.
Veröffentlicht: (2024)
Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation
von: Myntti, Amanda, et al.
Veröffentlicht: (2025)
von: Myntti, Amanda, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation
von: Budathoki, Anjila, et al.
Veröffentlicht: (2025) -
Functional Python Programming in Introductory Computer Science Courses
von: Sunderraman, Rajshekhar
Veröffentlicht: (2025) -
GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
von: Dhakal, Manish, et al.
Veröffentlicht: (2025) -
Noise Correction on Subjective Datasets
von: Jinadu, Uthman, et al.
Veröffentlicht: (2023) -
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
von: Ye, Hui, et al.
Veröffentlicht: (2023)