Buchumschlag

OrchMoE: Efficient Multi-Adapter Learning with Task-Skill Synergy

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Haowen, Sun, Tao, Ji, Kaixiang, Wang, Jian, Fan, Cong, Gu, Jinjie
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Skill or Skip? Learning Selective Skill Invocation in Agentic Tasks via Dual-Granularity Preference Learning
von: Chen, Chishui, et al.
Veröffentlicht: (2026)

Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration
von: Wang, Zhenhailong, et al.
Veröffentlicht: (2023)

MoKA: Mixture of Kronecker Adapters
von: Sadeghi, Mohammadreza, et al.
Veröffentlicht: (2025)

Self-Rewarding Rubric-Based Reinforcement Learning for Open-Ended Reasoning
von: Ye, Zhiling, et al.
Veröffentlicht: (2025)

Shears: Unstructured Sparsity with Neural Low-rank Adapter Search
von: Muñoz, J. Pablo, et al.
Veröffentlicht: (2024)

Learning to Align, Aligning to Learn: A Unified Approach for Self-Optimized Alignment
von: Wang, Haowen, et al.
Veröffentlicht: (2025)

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
von: Muñoz, J. Pablo, et al.
Veröffentlicht: (2025)

Continual Robot Skill and Task Learning via Dialogue
von: Gu, Weiwei, et al.
Veröffentlicht: (2024)

RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question Answering and Clinical Reasoning
von: Jin, Congyun, et al.
Veröffentlicht: (2024)

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models
von: Cao, Jie, et al.
Veröffentlicht: (2025)

AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies
von: Zhang, Bo-Wen, et al.
Veröffentlicht: (2024)

HANRAG: Heuristic Accurate Noise-resistant Retrieval-Augmented Generation for Multi-hop Question Answering
von: Sun, Duolin, et al.
Veröffentlicht: (2025)

CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models
von: Tan, Zhehao, et al.
Veröffentlicht: (2026)

MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning
von: Zhao, Lulu, et al.
Veröffentlicht: (2024)

MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning
von: Yang, Shu, et al.
Veröffentlicht: (2024)

Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk
von: Ulmer, Dennis, et al.
Veröffentlicht: (2024)

Parameter-Efficient Fine-Tuning With Adapters
von: Chen, Keyu, et al.
Veröffentlicht: (2024)

Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling
von: Jiang, Fan, et al.
Veröffentlicht: (2026)

ELP-Adapters: Parameter Efficient Adapter Tuning for Various Speech Processing Tasks
von: Inoue, Nakamasa, et al.
Veröffentlicht: (2024)

MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning
von: Shi, Wenqi, et al.
Veröffentlicht: (2024)

MALM: A Multi-Information Adapter for Large Language Models to Mitigate Hallucination
von: Jia, Ao, et al.
Veröffentlicht: (2025)

MoLoRA: Composable Specialization via Per-Token Adapter Routing
von: Shah, Shrey, et al.
Veröffentlicht: (2026)

StreamAdapter: Efficient Test Time Adaptation from Contextual Streams
von: Muhtar, Dilxat, et al.
Veröffentlicht: (2024)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks
von: Suresh, Varsha, et al.
Veröffentlicht: (2024)

OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation
von: Hu, Mengkang, et al.
Veröffentlicht: (2025)

OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale
von: Shi, Jingze, et al.
Veröffentlicht: (2026)

SkillClaw: Let Skills Evolve Collectively with Agentic Evolver
von: Ma, Ziyu, et al.
Veröffentlicht: (2026)

Can GNN be Good Adapter for LLMs?
von: Huang, Xuanwen, et al.
Veröffentlicht: (2024)

Know Your Needs Better: Towards Structured Understanding of Marketer Demands with Analogical Reasoning Augmented LLMs
von: Wang, Junjie, et al.
Veröffentlicht: (2024)

SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy
von: Zhang, Tingkai, et al.
Veröffentlicht: (2024)

CMMaTH: A Chinese Multi-modal Math Skill Evaluation Benchmark for Foundation Models
von: Li, Zhong-Zhi, et al.
Veröffentlicht: (2024)

MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents
von: Zhang, Haozhen, et al.
Veröffentlicht: (2026)

Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
von: Munkhdalai, Tsendsuren, et al.
Veröffentlicht: (2024)

Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

LLaDA-MoE: A Sparse MoE Diffusion Language Model
von: Zhu, Fengqi, et al.
Veröffentlicht: (2025)

MultiPL-MoE: Multi-Programming-Lingual Extension of Large Language Models through Hybrid Mixture-of-Experts
von: Wang, Qing, et al.
Veröffentlicht: (2025)

Dynamic Task Vector Grouping for Efficient Multi-Task Prompt Tuning
von: Zhang, Pieyi, et al.
Veröffentlicht: (2025)

CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM
von: Yu, Chengyue, et al.
Veröffentlicht: (2024)

Schema-Aware Multi-Task Learning for Complex Text-to-SQL
von: Wu, Yangjun, et al.
Veröffentlicht: (2024)