Buchumschlag

Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ludziejewski, Jan, Pióro, Maciej, Krajewski, Jakub, Stefaniak, Maciej, Krutul, Michał, Małaśnicki, Jan, Cygan, Marek, Sankowski, Piotr, Adamczewski, Kamil, Miłoś, Piotr, Jaszczur, Sebastian
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

$μ$-Parametrization for Mixture of Experts
von: Małaśnicki, Jan, et al.
Veröffentlicht: (2025)

Decoupled Relative Learning Rate Schedules
von: Ludziejewski, Jan, et al.
Veröffentlicht: (2025)

Projected Compression: Trainable Projection for Efficient Transformer Compression
von: Stefaniak, Maciej, et al.
Veröffentlicht: (2025)

MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
von: Pióro, Maciej, et al.
Veröffentlicht: (2024)

Scaling Laws for Fine-Grained Mixture of Experts
von: Krajewski, Jakub, et al.
Veröffentlicht: (2024)

Mixture of Tokens: Continuous MoE through Cross-Example Aggregation
von: Antoniak, Szymon, et al.
Veröffentlicht: (2023)

Bigger, Regularized, Optimistic: scaling for compute and sample-efficient continuous control
von: Nauman, Michal, et al.
Veröffentlicht: (2024)

Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning
von: Nauman, Michal, et al.
Veröffentlicht: (2024)

Anderson localization induced by structural disorder
von: Bhattacharjee, Sourav, et al.
Veröffentlicht: (2024)

SupResDiffGAN a new approach for the Super-Resolution task
von: Kopeć, Dawid, et al.
Veröffentlicht: (2025)

Scaling Fine-Grained MoE Beyond 50B Parameters: Empirical Evaluation and Practical Insights
von: Krajewski, Jakub, et al.
Veröffentlicht: (2025)

Fully Dynamic Shortest Paths in Sparse Digraphs
von: Karczmarz, Adam, et al.
Veröffentlicht: (2024)

Serverless Approach to Running Resource-Intensive STAR Aligner
von: Kica, Piotr, et al.
Veröffentlicht: (2025)

AdaGlimpse: Active Visual Exploration with Arbitrary Glimpse Position and Scale
von: Pardyl, Adam, et al.
Veröffentlicht: (2024)

Global bifurcation of solutions to elliptic systems with system and domain symmetries
von: Stefaniak, Piotr
Veröffentlicht: (2025)

Unbounded sets of solutions of non-cooperative elliptic systems on symmetric spaces
von: Stefaniak, Piotr
Veröffentlicht: (2025)

What Matters in Hierarchical Search for Combinatorial Reasoning Problems?
von: Zawalski, Michał, et al.
Veröffentlicht: (2024)

Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models
von: Góral, Gracjan, et al.
Veröffentlicht: (2025)

Since Faithfulness Fails: The Performance Limits of Neural Causal Discovery
von: Olko, Mateusz, et al.
Veröffentlicht: (2025)

PolQA: Polish Question Answering Dataset
von: Rybak, Piotr, et al.
Veröffentlicht: (2022)

Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models
von: Binkowski, Jakub, et al.
Veröffentlicht: (2026)

Unifying Deep Stochastic Processes for Image Enhancement
von: Kozłowski, Wojciech, et al.
Veröffentlicht: (2026)

Analysis of managerial behaviors in business management
von: Górka, Ernest, et al.
Veröffentlicht: (2025)

LLM generated responses to mitigate the impact of hate speech
von: Podolak, Jakub, et al.
Veröffentlicht: (2023)

On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics
von: Nauman, Michal, et al.
Veröffentlicht: (2023)

Online Multi-level Aggregation with Delays and Stochastic Arrivals
von: Mari, Mathieu, et al.
Veröffentlicht: (2024)

EXALT: EXplainable ALgorithmic Tools for Optimization Problems
von: Bączek, Zuzanna, et al.
Veröffentlicht: (2025)

Online matching with delays and stochastic arrival times
von: Mari, Mathieu, et al.
Veröffentlicht: (2022)

Some model theory of the Heisenberg group
von: Frącek, Maciej, et al.
Veröffentlicht: (2025)

Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
von: Rybak, Piotr, et al.
Veröffentlicht: (2023)

singleRcapture: An R Package for Single-Source Capture-Recapture Models
von: Chlebicki, Piotr, et al.
Veröffentlicht: (2024)

Horseshoe Mixtures-of-Experts (HS-MoE)
von: Polson, Nick, et al.
Veröffentlicht: (2026)

Hybrid spectral-spatial domain registration for nanometric tracking in digital in-line holographic microscopy
von: Kalinowski, Kamil, et al.
Veröffentlicht: (2026)

Accessory pathway localization with probabilistic density maps generated by a mobile application: Assessment of a full pre‐excitation net‐vector method
von: Marek Jastrzębski, et al.
Veröffentlicht: (2024)

Slow dynamics of a mobile impurity interacting with an Anderson insulator
von: Sierant, Piotr, et al.
Veröffentlicht: (2022)

Catching thermal avalanches in the disordered XXZ model
von: Szołdra, Tomasz, et al.
Veröffentlicht: (2024)

$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
von: Takashiro, Shota, et al.
Veröffentlicht: (2026)

CounterFlowNet: From Minimal Changes to Meaningful Counterfactual Explanations
von: Furman, Oleksii, et al.
Veröffentlicht: (2026)

MH-MoE: Multi-Head Mixture-of-Experts
von: Huang, Shaohan, et al.
Veröffentlicht: (2024)

MoE-Loco: Mixture of Experts for Multitask Locomotion
von: Huang, Runhan, et al.
Veröffentlicht: (2025)