Buchumschlag

DistillLens: Symmetric Knowledge Distillation Through Logit Lens

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dhakal, Manish, Jinadu, Uthman, Budathoki, Anjila, Sunderraman, Rajshekhar, Ding, Yi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Adversarial Robustness Analysis of Vision-Language Models in Medical Image Segmentation
von: Budathoki, Anjila, et al.
Veröffentlicht: (2025)

Functional Python Programming in Introductory Computer Science Courses
von: Sunderraman, Rajshekhar
Veröffentlicht: (2025)

GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
von: Dhakal, Manish, et al.
Veröffentlicht: (2025)

Noise Correction on Subjective Datasets
von: Jinadu, Uthman, et al.
Veröffentlicht: (2023)

MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
von: Ye, Hui, et al.
Veröffentlicht: (2023)

LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models
von: Wang, Zhenyu
Veröffentlicht: (2025)

Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation
von: Klimaszewski, Mateusz, et al.
Veröffentlicht: (2024)

LoCa: Logit Calibration for Knowledge Distillation
von: Yang, Runming, et al.
Veröffentlicht: (2024)

Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs
von: Boizard, Nicolas, et al.
Veröffentlicht: (2024)

Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
von: Phukan, Anirudh, et al.
Veröffentlicht: (2024)

Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
von: Anshumann, et al.
Veröffentlicht: (2025)

UAV3D: A Large-scale 3D Perception Benchmark for Unmanned Aerial Vehicles
von: Ye, Hui, et al.
Veröffentlicht: (2024)

Exploring Concreteness Through a Figurative Lens
von: Ghosh, Saptarshi, et al.
Veröffentlicht: (2026)

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
von: Xiao, Chenghao, et al.
Veröffentlicht: (2025)

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall
von: Wang, Qianli, et al.
Veröffentlicht: (2025)

OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
von: Zhou, Yuhang, et al.
Veröffentlicht: (2026)

Knowledge Distillation with Refined Logits
von: Sun, Wujie, et al.
Veröffentlicht: (2024)

Logit Standardization in Knowledge Distillation
von: Sun, Shangquan, et al.
Veröffentlicht: (2024)

To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation
von: Waheed, Abdul, et al.
Veröffentlicht: (2024)

Revisiting Knowledge Distillation for Autoregressive Language Models
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion
von: Wang, Yuanyi, et al.
Veröffentlicht: (2025)

UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models
von: Dong, Yijiang River, et al.
Veröffentlicht: (2024)

Self-Evolution Knowledge Distillation for LLM-based Machine Translation
von: Song, Yuncheng, et al.
Veröffentlicht: (2024)

Rethinking Selective Knowledge Distillation
von: Tavor, Almog, et al.
Veröffentlicht: (2026)

Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens
von: AlKhamissi, Mai, et al.
Veröffentlicht: (2025)

BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation
von: Li, Minchong, et al.
Veröffentlicht: (2024)

Knowledge Distillation of Black-Box Large Language Models
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)

Representation Collapse in Machine Translation Through the Lens of Angular Dispersion
von: Tokarchuk, Evgeniia, et al.
Veröffentlicht: (2026)

PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation
von: Zhong, Qihuang, et al.
Veröffentlicht: (2022)

Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs
von: Bombieri, Marco, et al.
Veröffentlicht: (2026)

Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
von: Askari, Hadi, et al.
Veröffentlicht: (2024)

Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)

HistLens: Mapping Idea Change across Concepts and Corpora
von: Jing, Yi, et al.
Veröffentlicht: (2026)

Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?
von: Mim, Sazia Tabasum, et al.
Veröffentlicht: (2026)

Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models
von: Rao, Jun, et al.
Veröffentlicht: (2024)

Knowledge Distillation with Training Wheels
von: Liu, Guanlin, et al.
Veröffentlicht: (2025)

Understanding Machine Unlearning Through the Lens of Mode Connectivity
von: Cheng, Jiali, et al.
Veröffentlicht: (2025)

Fairness of Automatic Speech Recognition: Looking Through a Philosophical Lens
von: Choi, Anna Seo Gyeong, et al.
Veröffentlicht: (2025)

Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling
von: Xu, Wenda, et al.
Veröffentlicht: (2024)

Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation
von: Myntti, Amanda, et al.
Veröffentlicht: (2025)