Buchumschlag

Multi-Aspect Knowledge Distillation for Language Model with Low-rank Factorization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zihe, Mao, Yulong, Xu, Jinan, Peng, Xinrui, Huang, Kaiyu
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution
von: Mao, Yulong, et al.
Veröffentlicht: (2024)

Dual-Space Knowledge Distillation for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2024)

SoT: Structured-of-Thought Prompting Guides Multilingual Reasoning in Large Language Models
von: Qi, Rui, et al.
Veröffentlicht: (2025)

Multilingual Collaborative Defense for Large Language Models
von: Li, Hongliang, et al.
Veröffentlicht: (2025)

Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
von: Sun, Zengkui, et al.
Veröffentlicht: (2025)

A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers
von: Huang, Kaiyu, et al.
Veröffentlicht: (2024)

Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping
von: Chen, Yijie, et al.
Veröffentlicht: (2025)

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2026)

Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model
von: Lou, Xinyue, et al.
Veröffentlicht: (2025)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models
von: Li, You, et al.
Veröffentlicht: (2025)

AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
von: Zhang, Songming, et al.
Veröffentlicht: (2025)

Towards Understanding and Improving Knowledge Distillation for Neural Machine Translation
von: Zhang, Songming, et al.
Veröffentlicht: (2023)

Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment
von: Peng, Tianyu, et al.
Veröffentlicht: (2024)

Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation
von: Liang, Chen, et al.
Veröffentlicht: (2024)

Multi-Sense Embeddings for Language Models and Knowledge Distillation
von: Wang, Qitong, et al.
Veröffentlicht: (2025)

TransportationGames: Benchmarking Transportation Knowledge of (Multimodal) Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2024)

Imagination Helps Visual Reasoning, But Not Yet in Latent Space
von: Li, You, et al.
Veröffentlicht: (2026)

Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation
von: Xu, Derong, et al.
Veröffentlicht: (2024)

A Survey on Knowledge Distillation of Large Language Models
von: Xu, Xiaohan, et al.
Veröffentlicht: (2024)

Revisiting Knowledge Distillation for Autoregressive Language Models
von: Zhong, Qihuang, et al.
Veröffentlicht: (2024)

Memorization Dynamics in Knowledge Distillation for Language Models
von: Borkar, Jaydeep, et al.
Veröffentlicht: (2026)

Multilingual Knowledge Editing with Language-Agnostic Factual Neurons
von: Zhang, Xue, et al.
Veröffentlicht: (2024)

Scaffolding Coordinates to Promote Vision-Language Coordination in Large Multi-Modal Models
von: Lei, Xuanyu, et al.
Veröffentlicht: (2024)

Language-Coupled Reinforcement Learning for Multilingual Retrieval-Augmented Generation
von: Qi, Rui, et al.
Veröffentlicht: (2026)

Think Natively: Unlocking Multilingual Reasoning with Consistency-Enhanced Reinforcement Learning
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

MiniPLM: Knowledge Distillation for Pre-Training Language Models
von: Gu, Yuxian, et al.
Veröffentlicht: (2024)

DDK: Distilling Domain Knowledge for Efficient Large Language Models
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

Multi-Hypothesis Distillation of Multilingual Neural Translation Models for Low-Resource Languages
von: Galiano-Jiménez, Aarón, et al.
Veröffentlicht: (2025)

DMDTEval: An Evaluation and Analysis of LLMs on Disambiguation in Multi-domain Translation
von: Man, Zhibo, et al.
Veröffentlicht: (2025)

Evolving Knowledge Distillation with Large Language Models and Active Learning
von: Liu, Chengyuan, et al.
Veröffentlicht: (2024)

Formal Aspects of Language Modeling
von: Cotterell, Ryan, et al.
Veröffentlicht: (2023)

Multi-Stage Balanced Distillation: Addressing Long-Tail Challenges in Sequence-Level Knowledge Distillation
von: Zhou, Yuhang, et al.
Veröffentlicht: (2024)

Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models
von: Cui, Xiao, et al.
Veröffentlicht: (2024)

Large Language Models Enhanced by Plug and Play Syntactic Knowledge for Aspect-based Sentiment Analysis
von: Tian, Yuanhe, et al.
Veröffentlicht: (2025)

EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
von: Wang, Chengyu, et al.
Veröffentlicht: (2025)

MMIDR: Teaching Large Language Model to Interpret Multimodal Misinformation via Knowledge Distillation
von: Wang, Longzheng, et al.
Veröffentlicht: (2024)

Extracting General-use Transformers for Low-resource Languages via Knowledge Distillation
von: Cruz, Jan Christian Blaise, et al.
Veröffentlicht: (2025)

Cross-Lingual Knowledge Distillation for Answer Sentence Selection in Low-Resource Languages
von: Gupta, Shivanshu, et al.
Veröffentlicht: (2023)

Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models
von: Xing, Wang, et al.
Veröffentlicht: (2026)