Buchumschlag

MoL for LLMs: Dual-Loss Optimization to Enhance Domain Expertise While Preserving General Capabilities

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Jingxue, Tang, Qingkun, Lu, Qianchun, Fang, Siyuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MoL-RL: Distilling Multi-Step Environmental Feedback into LLMs for Feedback-Independent Reasoning
von: Yang, Kang, et al.
Veröffentlicht: (2025)

Domain-Aware RAG: MoL-Enhanced RL for Efficient Training and Scalable Retrieval
von: Lin, Hao, et al.
Veröffentlicht: (2025)

MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability
von: Du, Yanrui, et al.
Veröffentlicht: (2024)

KARPA: A Training-free Method of Adapting Knowledge Graph as References for Large Language Model's Reasoning Path Aggregation
von: Fang, Siyuan, et al.
Veröffentlicht: (2024)

Leveraging Professional Radiologists' Expertise to Enhance LLMs' Evaluation for Radiology Reports
von: Zhu, Qingqing, et al.
Veröffentlicht: (2024)

Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models
von: Wang, Rui, et al.
Veröffentlicht: (2024)

Flipping Knowledge Distillation: Leveraging Small Models' Expertise to Enhance LLMs in Text Matching
von: Li, Mingzhe, et al.
Veröffentlicht: (2025)

From Physician Expertise to Clinical Agents: Preserving, Standardizing, and Scaling Physicians' Medical Expertise with Lightweight LLM
von: Luo, Chanyong, et al.
Veröffentlicht: (2026)

From General Reasoning to Domain Expertise: Uncovering the Limits of Generalization in Large Language Models
von: Alsagheer, Dana, et al.
Veröffentlicht: (2025)

Advancing Conversational Psychotherapy: Integrating Privacy, Dual-Memory, and Domain Expertise with Large Language Models
von: Zhang, XiuYu, et al.
Veröffentlicht: (2024)

More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs
von: Liu, Chengyuan, et al.
Veröffentlicht: (2024)

Balancing Enhancement, Harmlessness, and General Capabilities: Enhancing Conversational LLMs with Direct RLHF
von: Zheng, Chen, et al.
Veröffentlicht: (2024)

HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization
von: Wang, Haolan, et al.
Veröffentlicht: (2025)

Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
von: Yang, Qimin, et al.
Veröffentlicht: (2024)

DRE: An Effective Dual-Refined Method for Integrating Small and Large Language Models in Open-Domain Dialogue Evaluation
von: Zhao, Kun, et al.
Veröffentlicht: (2025)

SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs
von: Lin, Jiacheng, et al.
Veröffentlicht: (2025)

Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities
von: Tang, Hua, et al.
Veröffentlicht: (2024)

ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities
von: Duan, Yifan, et al.
Veröffentlicht: (2025)

From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise
von: Sharma, Nitin, et al.
Veröffentlicht: (2025)

Preserving Multilingual Quality While Tuning Query Encoder on English Only
von: Vasilyev, Oleg, et al.
Veröffentlicht: (2024)

Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimization
von: He, Bowei, et al.
Veröffentlicht: (2025)

Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance
von: Kadiyala, Ram Mohan Rao, et al.
Veröffentlicht: (2025)

MIMIR: A Streamlined Platform for Personalized Agent Tuning in Domain Expertise
von: Deng, Chunyuan, et al.
Veröffentlicht: (2024)

OCR-Enhanced Multimodal ASR Can Read While Listening
von: Chen, Junli, et al.
Veröffentlicht: (2026)

Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs
von: Steinigen, Daniel, et al.
Veröffentlicht: (2024)

PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
von: Xu, Jing, et al.
Veröffentlicht: (2026)

ChipNeMo: Domain-Adapted LLMs for Chip Design
von: Liu, Mingjie, et al.
Veröffentlicht: (2023)

Olapa-MCoT: Enhancing the Chinese Mathematical Reasoning Capability of LLMs
von: Zhu, Shaojie, et al.
Veröffentlicht: (2023)

dMoE: dLLMs with Learnable Block Experts
von: Feng, Sicheng, et al.
Veröffentlicht: (2026)

CogDual: Enhancing Dual Cognition of LLMs via Reinforcement Learning with Implicit Rule-Based Rewards
von: Liu, Cheng, et al.
Veröffentlicht: (2025)

Do Domain-specific Experts exist in MoE-based LLMs?
von: Do, Giang, et al.
Veröffentlicht: (2026)

Process-Supervised Reward Models for Verifying Clinical Note Generation: A Scalable Approach Guided by Domain Expertise
von: Wang, Hanyin, et al.
Veröffentlicht: (2024)

Capability Salience Vector: Fine-grained Alignment of Loss and Capabilities for Downstream Task Scaling Law
von: Ge, Qiming, et al.
Veröffentlicht: (2025)

Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering
von: Zhang, Yichi, et al.
Veröffentlicht: (2023)

Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation
von: Yang, Bohao, et al.
Veröffentlicht: (2024)

Grove MoE: Towards Efficient and Superior MoE LLMs with Adjugate Experts
von: Wu, Haoyuan, et al.
Veröffentlicht: (2025)

RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems
von: Lin, Jingru, et al.
Veröffentlicht: (2025)

No Loss, No Gain: Gated Refinement and Adaptive Compression for Prompt Optimization
von: Shi, Wenhang, et al.
Veröffentlicht: (2025)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
von: Fu, Yao, et al.
Veröffentlicht: (2025)

Enhancing Text-to-SQL Capabilities of Large Language Models via Domain Database Knowledge Injection
von: Ma, Xingyu, et al.
Veröffentlicht: (2024)