Buchumschlag

Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jawahar, Ganesh, Yang, Haichuan, Xiong, Yunyang, Liu, Zechun, Wang, Dilin, Sun, Fei, Li, Meng, Pappu, Aasish, Oguz, Barlas, Abdul-Mageed, Muhammad, Lakshmanan, Laks V. S., Krishnamoorthi, Raghuraman, Chandra, Vikas
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LLM Performance Predictors are good initializers for Architecture Search
von: Jawahar, Ganesh, et al.
Veröffentlicht: (2023)

MobileMoE: Scaling On-Device Mixture of Experts
von: Chen, Yanbei, et al.
Veröffentlicht: (2026)

PathFusion: Path-consistent Lidar-Camera Deep Feature Fusion
von: Wu, Lemeng, et al.
Veröffentlicht: (2022)

Multi-agent Architecture Search via Agentic Supernet
von: Zhang, Guibin, et al.
Veröffentlicht: (2025)

Subnet-Aware Dynamic Supernet Training for Neural Architecture Search
von: Jeon, Jeimin, et al.
Veröffentlicht: (2025)

On Supernet Transfer Learning for Effective Task Adaptation
von: Singh, Prabhant, et al.
Veröffentlicht: (2024)

Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer
von: Zhang, Xiang, et al.
Veröffentlicht: (2024)

Post-training an LLM for RAG? Train on Self-Generated Demonstrations
von: Finlayson, Matthew, et al.
Veröffentlicht: (2025)

Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation
von: Njor, Emil, et al.
Veröffentlicht: (2025)

Progressive Supernet Training for Efficient Visual Autoregressive Modeling
von: Chen, Xiaoyue, et al.
Veröffentlicht: (2025)

DetoxLLM: A Framework for Detoxification with Explanations
von: Khondaker, Md Tawkat Islam, et al.
Veröffentlicht: (2024)

Efficient Supernet Training with Orthogonal Softmax for Scalable ASR Model Compression
von: Xu, Jingjing, et al.
Veröffentlicht: (2025)

MedNNS: Supernet-based Medical Task-Adaptive Neural Network Search
von: Mecharbat, Lotfi Abdelkrim, et al.
Veröffentlicht: (2025)

PASS: Probabilistic Agentic Supernet Sampling for Interpretable and Adaptive Chest X-Ray Reasoning
von: Feng, Yushi, et al.
Veröffentlicht: (2025)

SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
von: You, Haoran, et al.
Veröffentlicht: (2022)

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
von: Liu, Zechun, et al.
Veröffentlicht: (2024)

DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks
von: Fu, Yonggan, et al.
Veröffentlicht: (2022)

SpinQuant: LLM quantization with learned rotations
von: Liu, Zechun, et al.
Veröffentlicht: (2024)

Mixed-precision Supernet Training from Vision Foundation Models using Low Rank Adapter
von: Sakuma, Yuiko, et al.
Veröffentlicht: (2024)

DeepFedNAS: Efficient Hardware-Aware Architecture Adaptation for Heterogeneous IoT Federations via Pareto-Guided Supernet Training
von: Khan, Bostan, et al.
Veröffentlicht: (2026)

SqueezeSAM: User friendly mobile interactive segmentation
von: Varadarajan, Balakrishnan, et al.
Veröffentlicht: (2023)

AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System
von: Wei, He, et al.
Veröffentlicht: (2024)

Routing-Free Mixture-of-Experts
von: Liu, Yilun, et al.
Veröffentlicht: (2026)

Multilingual Routing in Mixture-of-Experts
von: Bandarkar, Lucas, et al.
Veröffentlicht: (2025)

Efficient Track Anything
von: Xiong, Yunyang, et al.
Veröffentlicht: (2024)

Agent-as-a-Judge: Evaluate Agents with Agents
von: Zhuge, Mingchen, et al.
Veröffentlicht: (2024)

Spatio-Semantic Expert Routing Architecture with Mixture-of-Experts for Referring Image Segmentation
von: Dalaq, Alaa, et al.
Veröffentlicht: (2026)

Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
von: Nikolic, Strahinja, et al.
Veröffentlicht: (2025)

Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition
von: Gu, Zijin, et al.
Veröffentlicht: (2025)

Maximum Score Routing For Mixture-of-Experts
von: Dong, Bowen, et al.
Veröffentlicht: (2025)

KRAFT: A Knowledge Graph-Based Framework for Automated Map Conflation
von: Hashemi, Farnoosh, et al.
Veröffentlicht: (2025)

RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs
von: Xu, Zhiyuan, et al.
Veröffentlicht: (2026)

CartesianMoE: Boosting Knowledge Sharing among Experts via Cartesian Product Routing in Mixture-of-Experts
von: Su, Zhenpeng, et al.
Veröffentlicht: (2024)

Geometric Routing Enables Causal Expert Control in Mixture of Experts
von: Ternovtsii, Ivan, et al.
Veröffentlicht: (2026)

MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes
von: Zhao, Changsheng, et al.
Veröffentlicht: (2025)

Efficient Universal Perception Encoder
von: Zhu, Chenchen, et al.
Veröffentlicht: (2026)

Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
von: Liu, Yilun, et al.
Veröffentlicht: (2025)

Selective Sinkhorn Routing for Improved Sparse Mixture of Experts
von: Nguyen, Duc Anh, et al.
Veröffentlicht: (2025)

Improving Routing in Sparse Mixture of Experts with Graph of Tokens
von: Nguyen, Tam, et al.
Veröffentlicht: (2025)

Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts
von: Kladny, Klaus-Rudolf, et al.
Veröffentlicht: (2026)