Copertina

Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chen, Yilong, Gu, Naibin, Shang, Junyuan, Zhang, Zhenyu, Feng, Yuchen, Sheng, Jiawei, Liu, Tingwen, Wang, Shuohuan, Sun, Yu, Wu, Hua, Wang, Haifeng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking
di: Chen, Yilong, et al.
Pubblicazione: (2025)

Mixture of Hidden-Dimensions Transformer
di: Chen, Yilong, et al.
Pubblicazione: (2024)

Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts
di: Gu, Naibin, et al.
Pubblicazione: (2025)

DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
di: Chen, Yilong, et al.
Pubblicazione: (2024)

Sparse Growing Transformer: Training-Time Sparse Depth Allocation via Progressive Attention Looping
di: Chen, Yao, et al.
Pubblicazione: (2026)

VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction
di: Ji, Longbin, et al.
Pubblicazione: (2026)

NACL: A General and Effective KV Cache Eviction Framework for LLMs at Inference Time
di: Chen, Yilong, et al.
Pubblicazione: (2024)

Advantageous Parameter Expansion Training Makes Better Large Language Models
di: Gu, Naibin, et al.
Pubblicazione: (2025)

Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
di: Hui, Tingfeng, et al.
Pubblicazione: (2024)

V-ITI: Mitigating Hallucinations in Multimodal Large Language Models via Visual Inference-Time Intervention
di: Sun, Nan, et al.
Pubblicazione: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
di: Tang, Chuanyu, et al.
Pubblicazione: (2024)

Virtual Width Networks
di: Seed, et al.
Pubblicazione: (2025)

BeamLoRA: Beam-Constraint Low-Rank Adaptation
di: Gu, Naibin, et al.
Pubblicazione: (2025)

Spectral Condition for $μ$P under Width-Depth Scaling
di: Zheng, Chenyu, et al.
Pubblicazione: (2026)

AdaPerceiver: Transformers with Adaptive Width, Depth, and Tokens
di: Jajal, Purvish, et al.
Pubblicazione: (2025)

DIVE into MoE: Diversity-Enhanced Reconstruction of Large Language Models from Dense into Mixture-of-Experts
di: Feng, Yuchen, et al.
Pubblicazione: (2025)

Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
di: Yehudai, Gilad, et al.
Pubblicazione: (2025)

Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
di: Bordelon, Blake, et al.
Pubblicazione: (2025)

The Behavior of Tree-Width and Path-Width under Graph Operations and Graph Transformations
di: Gurski, Frank, et al.
Pubblicazione: (2024)

Maximum Score Routing For Mixture-of-Experts
di: Dong, Bowen, et al.
Pubblicazione: (2025)

Width Hierarchy for k-OBDD of Small Width
di: Khadiev, Kamil
Pubblicazione: (2015)

Recursive Vision Transformer with Dynamic Depth and Width Adjustment for Resource-Efficient Image Semantic Communication
di: Zhang, Zhilong, et al.
Pubblicazione: (2026)

On the Infinite Width and Depth Limits of Predictive Coding Networks
di: Innocenti, Francesco, et al.
Pubblicazione: (2026)

Collisional Planetary Rings: The Role of the Width and the Optical Depth
di: Jack J. Lissauer
Pubblicazione: (2001)

Scaling Laws for Hybrid Quantum Neural Networks: Depth, Width, and Quantum-Centric Diagnostics
di: Vyskubov, Danil, et al.
Pubblicazione: (2026)

DeepWideSearch: Benchmarking Depth and Width in Agentic Information Seeking
di: Lan, Tian, et al.
Pubblicazione: (2025)

Widths and rigidity
di: Malykhin, Yuri
Pubblicazione: (2022)

Monoidal Width
di: Di Lavore, Elena, et al.
Pubblicazione: (2022)

Depth Separation in Norm-Bounded Infinite-Width Neural Networks
di: Parkinson, Suzanna, et al.
Pubblicazione: (2024)

Embedding Matrices in Programmable Photonic Networks with Flexible Depth and Width
di: Markowitz, Matthew, et al.
Pubblicazione: (2025)

The Role of Depth, Width, and Tree Size in Expressiveness of Deep Forest
di: Lyu, Shen-Huan, et al.
Pubblicazione: (2024)

Universal Hirschberg for Width Bounded Dynamic Programs
di: Nye, Logan
Pubblicazione: (2025)

Curiosity-Driven Reinforcement Learning from Human Feedback
di: Sun, Haoran, et al.
Pubblicazione: (2025)

UAIC_Twin_Width: An Exact yet Efficient Twin-Width Algorithm
di: Arhire, Andrei, et al.
Pubblicazione: (2025)

Semantic Tree-Width and Path-Width of Conjunctive Regular Path Queries
di: Figueira, Diego, et al.
Pubblicazione: (2022)

Widths of links via diagram colorings
di: Lee, Ricky, et al.
Pubblicazione: (2024)

Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information
di: Chen, Yao, et al.
Pubblicazione: (2026)

Widths of Complements of Skeleta
di: Gathercole, Elliot
Pubblicazione: (2026)

Urysohn Width and Surgeries
di: Berdnikov, Aleksandr, et al.
Pubblicazione: (2026)

The Width of Hamming Balls
di: Williams, Kada
Pubblicazione: (2024)