Buchumschlag

Rethinking Mixture-of-Agents: Is Mixing Different Large Language Models Beneficial?

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Wenzhe, Lin, Yong, Xia, Mengzhou, Jin, Chi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training
von: Zhong, Zexuan, et al.
Veröffentlicht: (2024)

CultureLLM: Incorporating Cultural Differences into Large Language Models
von: Li, Cheng, et al.
Veröffentlicht: (2024)

Rethinking Data Mixing from the Perspective of Large Language Models
von: Xu, Yuanjian, et al.
Veröffentlicht: (2026)

Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
von: Xia, Mengzhou, et al.
Veröffentlicht: (2023)

SimPO: Simple Preference Optimization with a Reference-Free Reward
von: Meng, Yu, et al.
Veröffentlicht: (2024)

Detecting Pretraining Data from Large Language Models
von: Shi, Weijia, et al.
Veröffentlicht: (2023)

Rethinking Machine Unlearning for Large Language Models
von: Liu, Sijia, et al.
Veröffentlicht: (2024)

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning
von: Gao, Shangqian, et al.
Veröffentlicht: (2025)

Bayesian Mixture of Experts For Large Language Models
von: Dialameh, Maryam, et al.
Veröffentlicht: (2025)

Rethinking LLM Ensembling from the Perspective of Mixture Models
von: Fu, Jiale, et al.
Veröffentlicht: (2026)

Trainable Transformer in Transformer
von: Panigrahi, Abhishek, et al.
Veröffentlicht: (2023)

Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey
von: Lin, Matthieu, et al.
Veröffentlicht: (2024)

A Survey on Mixture of Experts in Large Language Models
von: Cai, Weilin, et al.
Veröffentlicht: (2024)

A Closer Look into Mixture-of-Experts in Large Language Models
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
von: Pan, Bowen, et al.
Veröffentlicht: (2024)

DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models
von: Gao, Shangqian, et al.
Veröffentlicht: (2024)

Large Language Models on Graphs: A Comprehensive Survey
von: Jin, Bowen, et al.
Veröffentlicht: (2023)

The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning
von: Zhu, Xinyu, et al.
Veröffentlicht: (2025)

Effects of Prompt Length on Domain-specific Tasks for Large Language Models
von: Liu, Qibang, et al.
Veröffentlicht: (2025)

Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
von: Hinostroza, Cristian, et al.
Veröffentlicht: (2026)

Large Language Models as Agents in Two-Player Games
von: Liu, Yang, et al.
Veröffentlicht: (2024)

Rethinking Interpretability in the Era of Large Language Models
von: Singh, Chandan, et al.
Veröffentlicht: (2024)

LLMSurgeon: Diagnosing Data Mixture of Large Language Models
von: Luo, Yaxin, et al.
Veröffentlicht: (2026)

Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
von: Shin, Sungbin, et al.
Veröffentlicht: (2024)

Upcycling Large Language Models into Mixture of Experts
von: He, Ethan, et al.
Veröffentlicht: (2024)

What is in Your Safe Data? Identifying Benign Data that Breaks Safety
von: He, Luxi, et al.
Veröffentlicht: (2024)

CodeMixBench: Evaluating Large Language Models on Code Generation with Code-Mixed Prompts
von: Sheokand, Manik, et al.
Veröffentlicht: (2025)

Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network
von: Chen, Lin, et al.
Veröffentlicht: (2024)

Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
von: Ye, Jiasheng, et al.
Veröffentlicht: (2024)

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
von: Smith, James Seale, et al.
Veröffentlicht: (2025)

Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications
von: Liu, Yanchen, et al.
Veröffentlicht: (2023)

Data Mixing for Large Language Models Pretraining: A Survey and Outlook
von: Chen, Zhuo, et al.
Veröffentlicht: (2026)

SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models
von: Huang, Wei, et al.
Veröffentlicht: (2024)

Structured Agent Distillation for Large Language Model
von: Liu, Jun, et al.
Veröffentlicht: (2025)

Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
von: Li, Yaxuan, et al.
Veröffentlicht: (2026)

Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing
von: Qian, Zhenyu, et al.
Veröffentlicht: (2024)

Model Hemorrhage and the Robustness Limits of Large Language Models
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

ICONS: Influence Consensus for Vision-Language Data Selection
von: Wu, Xindi, et al.
Veröffentlicht: (2024)

Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge
von: Lin, Yuanze, et al.
Veröffentlicht: (2024)

HMoE: Heterogeneous Mixture of Experts for Language Modeling
von: Wang, An, et al.
Veröffentlicht: (2024)