Buchumschlag

DDK: Distilling Domain Knowledge for Efficient Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Jiaheng, Zhang, Chenchen, Guo, Jinyang, Zhang, Yuanxing, Que, Haoran, Deng, Ken, Bai, Zhiqi, Liu, Jie, Zhang, Ge, Wang, Jiakai, Wu, Yanan, Liu, Congnan, Su, Wenbo, Wang, Jiamang, Qu, Lin, Zheng, Bo
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

D-CPT Law: Domain-specific Continual Pre-Training Scaling Law for Large Language Models
von: Que, Haoran, et al.
Veröffentlicht: (2024)

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

R2C2-Coder: Enhancing and Benchmarking Real-world Repository-level Code Completion Abilities of Code Large Language Models
von: Deng, Ken, et al.
Veröffentlicht: (2024)

ConceptMath: A Bilingual Concept-wise Benchmark for Measuring Mathematical Reasoning of Large Language Models
von: Wu, Yanan, et al.
Veröffentlicht: (2024)

MTU-Bench: A Multi-granularity Tool-Use Benchmark for Large Language Models
von: Wang, Pei, et al.
Veröffentlicht: (2024)

M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation
von: Liu, Jiaheng, et al.
Veröffentlicht: (2024)

ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding
von: Li, Yuhang, et al.
Veröffentlicht: (2025)

LongIns: A Challenging Long-context Instruction-based Exam for LLMs
von: Gavin, Shawn, et al.
Veröffentlicht: (2024)

Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
von: Lin, Hongzhan, et al.
Veröffentlicht: (2025)

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?
von: Che, Xinyu, et al.
Veröffentlicht: (2026)

Vibe AIGC: A New Paradigm for Content Generation via Agentic Orchestration
von: Liu, Jiaheng, et al.
Veröffentlicht: (2026)

Multilingual Multimodal Software Developer for Code Generation
von: Chai, Linzheng, et al.
Veröffentlicht: (2025)

ProgCo: Program Helps Self-Correction of Large Language Models
von: Song, Xiaoshuai, et al.
Veröffentlicht: (2025)

ViDiC: Video Difference Captioning
von: Wu, Jiangtao, et al.
Veröffentlicht: (2025)

DESIGNER: Design-Logic-Guided Multidisciplinary Data Synthesis for LLM Reasoning
von: Liu, Weize, et al.
Veröffentlicht: (2025)

KOR-Bench: Benchmarking Language Models on Knowledge-Orthogonal Reasoning Tasks
von: Ma, Kaijing, et al.
Veröffentlicht: (2024)

Deconstructing Long Chain-of-Thought: A Structured Reasoning Optimization Framework for Long CoT Distillation
von: Luo, Yijia, et al.
Veröffentlicht: (2025)

Enhancing LLMs via High-Knowledge Data Selection
von: Duan, Feiyu, et al.
Veröffentlicht: (2025)

MIO: A Foundation Model on Multimodal Tokens
von: Wang, Zekun, et al.
Veröffentlicht: (2024)

Balance Divergence for Knowledge Distillation
von: Qi, Yafei, et al.
Veröffentlicht: (2025)

DSD-DA: Distillation-based Source Debiasing for Domain Adaptive Object Detection
von: Feng, Yongchao, et al.
Veröffentlicht: (2023)

Multiscale Synergistic Engineering of Constructed Devices Enables Ultrafast Real‐Time Dynamic Photochromic‐Electrochromic Optical Modulation
von: Zhiqi Wang, et al.
Veröffentlicht: (2025)

Adaptive Event Stream Slicing for Open-Vocabulary Event-Based Object Detection via Vision-Language Knowledge Distillation
von: Zhang, Jinchang, et al.
Veröffentlicht: (2025)

Sampling to Distill: Knowledge Transfer from Open-World Data
von: Wang, Yuzheng, et al.
Veröffentlicht: (2023)

CodeCriticBench: A Holistic Code Critique Benchmark for Large Language Models
von: Zhang, Alexander, et al.
Veröffentlicht: (2025)

An introduction to univalent function theory and the Bieberbach conjecture
von: Qu, Jiakai
Veröffentlicht: (2024)

A Comprehensive Survey on Long Context Language Modeling
von: Liu, Jiaheng, et al.
Veröffentlicht: (2025)

Domain-invariant Progressive Knowledge Distillation for UAV-based Object Detection
von: Yao, Liang, et al.
Veröffentlicht: (2024)

Silent Leaks: Implicit Knowledge Extraction Attack on RAG Systems through Benign Queries
von: Wang, Yuhao, et al.
Veröffentlicht: (2025)

First-Order Error Matters: Accurate Compensation for Quantized Large Language Models
von: Zheng, Xingyu, et al.
Veröffentlicht: (2025)

Experimental Study on Prevention and Control of Calcium Carbonate Crystallization in Tunnel Based on the Yijun Tunnel
von: Congnan Guo, et al.
Veröffentlicht: (2025)

PACF: Prototype Augmented Compact Features for Improving Domain Adaptive Object Detection
von: Liu, Chenguang, et al.
Veröffentlicht: (2025)

Depression Detection Using Digital Traces on Social Media: A Knowledge-aware Deep Learning Approach
von: Zhang, Wenli, et al.
Veröffentlicht: (2023)

Think-J: Learning to Think for Generative LLM-as-a-Judge
von: Huang, Hui, et al.
Veröffentlicht: (2025)

TVIR: Building Deep Research Agents Towards Text--Visual Interleaved Report Generation
von: Ma, Xinkai, et al.
Veröffentlicht: (2026)

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet
von: Zhang, Haoran, et al.
Veröffentlicht: (2024)

Coupled-channel study of the three-body $DDK$ and $D^{*}D^{*}K$
von: Xie, Hai-Peng, et al.
Veröffentlicht: (2026)

Lattice spectra of $DDK$ three-body system with Lorentz covariant kinematic
von: Xiao, Qi-Chao, et al.
Veröffentlicht: (2024)

Comment on: Liver Fat Quantification and Steatosis Grading in Fatty Liver Disease by Magnetic Resonance Imaging: Systematic Review and Meta‐Analysis—Reference Standard Ambiguity: Biopsy Versus MRS—Why Pooling These Standards Dilutes MRI‐FF Diagnostic Accuracy Estimates
von: Hong Zhang, et al.
Veröffentlicht: (2026)

Dual Teacher Knowledge Distillation with Domain Alignment for Face Anti-spoofing
von: Kong, Zhe, et al.
Veröffentlicht: (2024)