Buchumschlag

Adversarial Moment-Matching Distillation of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Jia, Chen
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Self-Refining Language Model Anonymizers via Adversarial Distillation
von: Kim, Kyuyoung, et al.
Veröffentlicht: (2025)

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
von: Zhao, Siyan, et al.
Veröffentlicht: (2026)

Entity Matching using Large Language Models
von: Peeters, Ralph, et al.
Veröffentlicht: (2023)

A Survey of On-Policy Distillation for Large Language Models
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions
von: Fang, Luyang, et al.
Veröffentlicht: (2025)

SODA: Semi On-Policy Black-Box Distillation for Large Language Models
von: Chen, Xiwen, et al.
Veröffentlicht: (2026)

Feature Alignment and Representation Transfer in Knowledge Distillation for Large Language Models
von: Yang, Junjie, et al.
Veröffentlicht: (2025)

Knowledge Distillation from Large Language Models for Household Energy Modeling
von: Takrouri, Mohannad, et al.
Veröffentlicht: (2025)

A Survey on Symbolic Knowledge Distillation of Large Language Models
von: Acharya, Kamal, et al.
Veröffentlicht: (2024)

Distilling Large Language Models for Text-Attributed Graph Learning
von: Pan, Bo, et al.
Veröffentlicht: (2024)

Cache & Distil: Optimising API Calls to Large Language Models
von: Ramírez, Guillem, et al.
Veröffentlicht: (2023)

Adversarial Evasion Attack Efficiency against Large Language Models
von: Vitorino, João, et al.
Veröffentlicht: (2024)

Assessing Adversarial Robustness of Large Language Models: An Empirical Study
von: Yang, Zeyu, et al.
Veröffentlicht: (2024)

Confidence Calibration in Large Language Model-Based Entity Matching
von: Kamsteeg, Iris, et al.
Veröffentlicht: (2025)

Self-Data Distillation for Recovering Quality in Pruned Large Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

Iterative Layer-wise Distillation for Efficient Compression of Large Language Models
von: Kovalev, Grigory, et al.
Veröffentlicht: (2025)

DistiLLM: Towards Streamlined Distillation for Large Language Models
von: Ko, Jongwoo, et al.
Veröffentlicht: (2024)

Measuring Non-Adversarial Reproduction of Training Data in Large Language Models
von: Aerni, Michael, et al.
Veröffentlicht: (2024)

Delta Knowledge Distillation for Large Language Models
von: Cao, Yihan, et al.
Veröffentlicht: (2025)

Structured Agent Distillation for Large Language Model
von: Liu, Jun, et al.
Veröffentlicht: (2025)

Large Language Models Explore by Latent Distilling
von: Zeng, Yuanhao, et al.
Veröffentlicht: (2026)

UniDetox: Universal Detoxification of Large Language Models via Dataset Distillation
von: Lu, Huimin, et al.
Veröffentlicht: (2025)

DACTYL: Diverse Adversarial Corpus of Texts Yielded from Large Language Models
von: Thorat, Shantanu, et al.
Veröffentlicht: (2025)

Synthetic Text Generation for Training Large Language Models via Gradient Matching
von: Nguyen, Dang, et al.
Veröffentlicht: (2025)

Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization
von: He, Junlin, et al.
Veröffentlicht: (2026)

Controlling Large Language Model with Latent Actions
von: Jia, Chengxing, et al.
Veröffentlicht: (2025)

LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
von: Dong, Zican, et al.
Veröffentlicht: (2025)

DiLM: Distilling Dataset into Language Model for Text-level Dataset Distillation
von: Maekawa, Aru, et al.
Veröffentlicht: (2024)

MiniDisc: Minimal Distillation Schedule for Language Model Compression
von: Zhang, Chen, et al.
Veröffentlicht: (2022)

A Dual-Space Framework for General Knowledge Distillation of Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

SLMRec: Distilling Large Language Models into Small for Sequential Recommendation
von: Xu, Wujiang, et al.
Veröffentlicht: (2024)

Multistage Collaborative Knowledge Distillation from a Large Language Model for Semi-Supervised Sequence Generation
von: Zhao, Jiachen, et al.
Veröffentlicht: (2023)

Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees
von: Soarez, Alberlucia Rafael, et al.
Veröffentlicht: (2026)

Fine-tuning Language Models with Generative Adversarial Reward Modelling
von: Yu, Zhang Ze, et al.
Veröffentlicht: (2023)

Adversarial Reinforcement Learning for Large Language Model Agent Safety
von: Wang, Zizhao, et al.
Veröffentlicht: (2025)

Hijacking Large Language Models via Adversarial In-Context Learning
von: Zhou, Xiangyu, et al.
Veröffentlicht: (2023)

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
von: Zhang, Songming, et al.
Veröffentlicht: (2026)

SOMP: Scalable Gradient Inversion for Large Language Models via Subspace-Guided Orthogonal Matching Pursuit
von: Li, Yibo, et al.
Veröffentlicht: (2026)

LLM-Match: An Open-Sourced Patient Matching Model Based on Large Language Models and Retrieval-Augmented Generation
von: Li, Xiaodi, et al.
Veröffentlicht: (2025)

PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts
von: Zhu, Kaijie, et al.
Veröffentlicht: (2023)