Buchumschlag

LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Renzhi, Li, Piji
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors
von: Wang, Renzhi, et al.
Veröffentlicht: (2024)

Semantic are Beacons: A Semantic Perspective for Unveiling Parameter-Efficient Fine-Tuning in Knowledge Learning
von: Wang, Renzhi, et al.
Veröffentlicht: (2024)

Lifelong Knowledge Editing for Vision Language Models with Low-Rank Mixture-of-Experts
von: Chen, Qizhou, et al.
Veröffentlicht: (2024)

A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks
von: Ni, Xuanfan, et al.
Veröffentlicht: (2024)

Temporal Guidance for Large Language Models
von: Zheng, Hong-Kai, et al.
Veröffentlicht: (2026)

Reinforced Lifelong Editing for Language Models
von: Li, Zherui, et al.
Veröffentlicht: (2025)

ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA
von: Li, Jiaang, et al.
Veröffentlicht: (2024)

Generating Diverse Training Samples for Relation Extraction with Large Language Models
von: Li, Zexuan, et al.
Veröffentlicht: (2025)

EvoMoE: Expert Evolution in Mixture of Experts for Multimodal Large Language Models
von: Jing, Linglin, et al.
Veröffentlicht: (2025)

Cluster-Driven Expert Pruning for Mixture-of-Experts Large Language Models
von: Guo, Hongcheng, et al.
Veröffentlicht: (2025)

Unveiling Super Experts in Mixture-of-Experts Large Language Models
von: Su, Zunhai, et al.
Veröffentlicht: (2025)

M-BRe: Discovering Training Samples for Relation Extraction from Unlabeled Texts with Large Language Models
von: Li, Zexuan, et al.
Veröffentlicht: (2025)

Characteristic AI Agents via Large Language Models
von: Wang, Xi, et al.
Veröffentlicht: (2024)

5W1H Extraction With Large Language Models
von: Cao, Yang, et al.
Veröffentlicht: (2024)

Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models
von: Hu, Chenhui, et al.
Veröffentlicht: (2024)

WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models
von: Wang, Peng, et al.
Veröffentlicht: (2024)

Bayesian Mixture of Experts For Large Language Models
von: Dialameh, Maryam, et al.
Veröffentlicht: (2025)

A Survey on Mixture of Experts in Large Language Models
von: Cai, Weilin, et al.
Veröffentlicht: (2024)

LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models
von: Zhao, Hengyuan, et al.
Veröffentlicht: (2025)

HMoE: Heterogeneous Mixture of Experts for Language Modeling
von: Wang, An, et al.
Veröffentlicht: (2024)

A Closer Look into Mixture-of-Experts in Large Language Models
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

Upcycling Large Language Models into Mixture of Experts
von: He, Ethan, et al.
Veröffentlicht: (2024)

Improving Brain-to-Image Reconstruction via Fine-Grained Text Bridging
von: Xia, Runze, et al.
Veröffentlicht: (2025)

MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
von: Zhou, Hao, et al.
Veröffentlicht: (2024)

HiEdit: Lifelong Model Editing with Hierarchical Reinforcement Learning
von: Wang, Yangfan, et al.
Veröffentlicht: (2026)

Pre-Attention Expert Prediction and Prefetching for Mixture-of-Experts Large Language Models
von: Zhu, Shien, et al.
Veröffentlicht: (2025)

DIVE into MoE: Diversity-Enhanced Reconstruction of Large Language Models from Dense into Mixture-of-Experts
von: Feng, Yuchen, et al.
Veröffentlicht: (2025)

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
von: Dai, Damai, et al.
Veröffentlicht: (2024)

Improve Language Model and Brain Alignment via Associative Memory
von: Yin, Congchi, et al.
Veröffentlicht: (2025)

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
von: Jiang, Juyong, et al.
Veröffentlicht: (2026)

Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities
von: Wang, Bin, et al.
Veröffentlicht: (2024)

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
von: Huang, Yushi, et al.
Veröffentlicht: (2025)

SciDFM: A Large Language Model with Mixture-of-Experts for Science
von: Sun, Liangtai, et al.
Veröffentlicht: (2024)

OLMoE: Open Mixture-of-Experts Language Models
von: Muennighoff, Niklas, et al.
Veröffentlicht: (2024)

Mixture of Heterogeneous Grouped Experts for Language Modeling
von: Ma, Zhicheng, et al.
Veröffentlicht: (2026)

When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models
von: Yoon, Youngsik, et al.
Veröffentlicht: (2026)

On the Robustness of Editing Large Language Models
von: Ma, Xinbei, et al.
Veröffentlicht: (2024)

DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
von: Wu, Zhiyu, et al.
Veröffentlicht: (2024)

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models
von: Nguyen, Nam V., et al.
Veröffentlicht: (2024)