DistillLens: Symmetric Knowledge Distillation Through Logit Lens
Fuente:
arXiv
Salvato in:
| Autori principali: | Dhakal, Manish, Jinadu, Uthman, Budathoki, Anjila, Sunderraman, Rajshekhar, Ding, Yi |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation
di: Budathoki, Anjila, et al.
Pubblicazione: (2025)
di: Budathoki, Anjila, et al.
Pubblicazione: (2025)
Functional Python Programming in Introductory Computer Science Courses
di: Sunderraman, Rajshekhar
Pubblicazione: (2025)
di: Sunderraman, Rajshekhar
Pubblicazione: (2025)
GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
di: Dhakal, Manish, et al.
Pubblicazione: (2025)
di: Dhakal, Manish, et al.
Pubblicazione: (2025)
Noise Correction on Subjective Datasets
di: Jinadu, Uthman, et al.
Pubblicazione: (2023)
di: Jinadu, Uthman, et al.
Pubblicazione: (2023)
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
di: Ye, Hui, et al.
Pubblicazione: (2023)
di: Ye, Hui, et al.
Pubblicazione: (2023)
LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models
di: Wang, Zhenyu
Pubblicazione: (2025)
di: Wang, Zhenyu
Pubblicazione: (2025)
Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation
di: Klimaszewski, Mateusz, et al.
Pubblicazione: (2024)
di: Klimaszewski, Mateusz, et al.
Pubblicazione: (2024)
LoCa: Logit Calibration for Knowledge Distillation
di: Yang, Runming, et al.
Pubblicazione: (2024)
di: Yang, Runming, et al.
Pubblicazione: (2024)
Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs
di: Boizard, Nicolas, et al.
Pubblicazione: (2024)
di: Boizard, Nicolas, et al.
Pubblicazione: (2024)
Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
di: Phukan, Anirudh, et al.
Pubblicazione: (2024)
di: Phukan, Anirudh, et al.
Pubblicazione: (2024)
Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
di: Anshumann, et al.
Pubblicazione: (2025)
di: Anshumann, et al.
Pubblicazione: (2025)
UAV3D: A Large-scale 3D Perception Benchmark for Unmanned Aerial Vehicles
di: Ye, Hui, et al.
Pubblicazione: (2024)
di: Ye, Hui, et al.
Pubblicazione: (2024)
Exploring Concreteness Through a Figurative Lens
di: Ghosh, Saptarshi, et al.
Pubblicazione: (2026)
di: Ghosh, Saptarshi, et al.
Pubblicazione: (2026)
Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
di: Xiao, Chenghao, et al.
Pubblicazione: (2025)
di: Xiao, Chenghao, et al.
Pubblicazione: (2025)
Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall
di: Wang, Qianli, et al.
Pubblicazione: (2025)
di: Wang, Qianli, et al.
Pubblicazione: (2025)
OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
di: Zhou, Yuhang, et al.
Pubblicazione: (2026)
di: Zhou, Yuhang, et al.
Pubblicazione: (2026)
Knowledge Distillation with Refined Logits
di: Sun, Wujie, et al.
Pubblicazione: (2024)
di: Sun, Wujie, et al.
Pubblicazione: (2024)
Logit Standardization in Knowledge Distillation
di: Sun, Shangquan, et al.
Pubblicazione: (2024)
di: Sun, Shangquan, et al.
Pubblicazione: (2024)
To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation
di: Waheed, Abdul, et al.
Pubblicazione: (2024)
di: Waheed, Abdul, et al.
Pubblicazione: (2024)
Revisiting Knowledge Distillation for Autoregressive Language Models
di: Zhong, Qihuang, et al.
Pubblicazione: (2024)
di: Zhong, Qihuang, et al.
Pubblicazione: (2024)
InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion
di: Wang, Yuanyi, et al.
Pubblicazione: (2025)
di: Wang, Yuanyi, et al.
Pubblicazione: (2025)
UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models
di: Dong, Yijiang River, et al.
Pubblicazione: (2024)
di: Dong, Yijiang River, et al.
Pubblicazione: (2024)
Self-Evolution Knowledge Distillation for LLM-based Machine Translation
di: Song, Yuncheng, et al.
Pubblicazione: (2024)
di: Song, Yuncheng, et al.
Pubblicazione: (2024)
Rethinking Selective Knowledge Distillation
di: Tavor, Almog, et al.
Pubblicazione: (2026)
di: Tavor, Almog, et al.
Pubblicazione: (2026)
Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens
di: AlKhamissi, Mai, et al.
Pubblicazione: (2025)
di: AlKhamissi, Mai, et al.
Pubblicazione: (2025)
BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation
di: Li, Minchong, et al.
Pubblicazione: (2024)
di: Li, Minchong, et al.
Pubblicazione: (2024)
Knowledge Distillation of Black-Box Large Language Models
di: Chen, Hongzhan, et al.
Pubblicazione: (2024)
di: Chen, Hongzhan, et al.
Pubblicazione: (2024)
Representation Collapse in Machine Translation Through the Lens of Angular Dispersion
di: Tokarchuk, Evgeniia, et al.
Pubblicazione: (2026)
di: Tokarchuk, Evgeniia, et al.
Pubblicazione: (2026)
PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation
di: Zhong, Qihuang, et al.
Pubblicazione: (2022)
di: Zhong, Qihuang, et al.
Pubblicazione: (2022)
Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs
di: Bombieri, Marco, et al.
Pubblicazione: (2026)
di: Bombieri, Marco, et al.
Pubblicazione: (2026)
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
di: Askari, Hadi, et al.
Pubblicazione: (2024)
di: Askari, Hadi, et al.
Pubblicazione: (2024)
Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
di: Sun, Zengkui, et al.
Pubblicazione: (2025)
di: Sun, Zengkui, et al.
Pubblicazione: (2025)
HistLens: Mapping Idea Change across Concepts and Corpora
di: Jing, Yi, et al.
Pubblicazione: (2026)
di: Jing, Yi, et al.
Pubblicazione: (2026)
Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?
di: Mim, Sazia Tabasum, et al.
Pubblicazione: (2026)
di: Mim, Sazia Tabasum, et al.
Pubblicazione: (2026)
Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models
di: Rao, Jun, et al.
Pubblicazione: (2024)
di: Rao, Jun, et al.
Pubblicazione: (2024)
Knowledge Distillation with Training Wheels
di: Liu, Guanlin, et al.
Pubblicazione: (2025)
di: Liu, Guanlin, et al.
Pubblicazione: (2025)
Understanding Machine Unlearning Through the Lens of Mode Connectivity
di: Cheng, Jiali, et al.
Pubblicazione: (2025)
di: Cheng, Jiali, et al.
Pubblicazione: (2025)
Fairness of Automatic Speech Recognition: Looking Through a Philosophical Lens
di: Choi, Anna Seo Gyeong, et al.
Pubblicazione: (2025)
di: Choi, Anna Seo Gyeong, et al.
Pubblicazione: (2025)
Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling
di: Xu, Wenda, et al.
Pubblicazione: (2024)
di: Xu, Wenda, et al.
Pubblicazione: (2024)
Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation
di: Myntti, Amanda, et al.
Pubblicazione: (2025)
di: Myntti, Amanda, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation
di: Budathoki, Anjila, et al.
Pubblicazione: (2025) -
Functional Python Programming in Introductory Computer Science Courses
di: Sunderraman, Rajshekhar
Pubblicazione: (2025) -
GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
di: Dhakal, Manish, et al.
Pubblicazione: (2025) -
Noise Correction on Subjective Datasets
di: Jinadu, Uthman, et al.
Pubblicazione: (2023) -
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
di: Ye, Hui, et al.
Pubblicazione: (2023)