Buchumschlag

Scaling Embeddings Outperforms Scaling Experts in Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Hong, Zhang, Jiaqi, Wang, Chao, Hu, Xing, Lyu, Linkun, Sun, Jiaqi, Yang, Xurui, Wang, Bo, Li, Fengcun, Qian, Yulei, Si, Lingtong, Sun, Yerui, Li, Rumei, Pei, Peng, Xie, Yuchen, Cai, Xunliang
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference
von: Qian, Yulei, et al.
Veröffentlicht: (2024)

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training
von: Li, Jiacheng, et al.
Veröffentlicht: (2026)

FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
von: Sun, Pingwei, et al.
Veröffentlicht: (2026)

Efficient Context Scaling with LongCat ZigZag Attention
von: Zhang, Chen, et al.
Veröffentlicht: (2025)

SpanNorm: Reconciling Training Stability and Performance in Deep Transformers
von: Wang, Chao, et al.
Veröffentlicht: (2026)

AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
von: Hu, Yuxuan, et al.
Veröffentlicht: (2026)

Optimizing Native Sparse Attention with Latent Attention and Local Global Alternating Strategies
von: Hu, Yuxuan, et al.
Veröffentlicht: (2025)

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws
von: Wang, Jinbo, et al.
Veröffentlicht: (2026)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

Integer Scale: A Free Lunch for Faster Fine-grained Quantization of LLMs
von: Li, Qingyuan, et al.
Veröffentlicht: (2024)

Accelerate Speculative Decoding with Sparse Computation in Verification
von: Wang, Jikai, et al.
Veröffentlicht: (2025)

WISCA: A Lightweight Model Transition Method to Improve LLM Training via Weight Scaling
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text
von: Xu, Zhihao, et al.
Veröffentlicht: (2026)

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention
von: Xu, Hongtao, et al.
Veröffentlicht: (2026)

SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models
von: Diao, Muxi, et al.
Veröffentlicht: (2024)

AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach
von: Li, Xurui, et al.
Veröffentlicht: (2024)

FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection
von: Wang, Jiaqi, et al.
Veröffentlicht: (2024)

Impacts of Drought Stress on Wheat Flour, Dough, and Chinese Southern‐Type Steamed Bread Quality Characteristics
von: Fengcun Yu, et al.
Veröffentlicht: (2025)

Insect‐Scale Biped Robots Based on Asymmetrical Friction Effect Induced by Magnetic Torque
von: Jinsheng Zhao, et al.
Veröffentlicht: (2024)

GradPower: Powering Gradients for Faster Language Model Pre-Training
von: Wang, Jinbo, et al.
Veröffentlicht: (2025)

Adaptive Regularization for Large-Scale Sparse Feature Embedding Models
von: Li, Mang, et al.
Veröffentlicht: (2025)

SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
von: Zhang, Yifan, et al.
Veröffentlicht: (2026)

Youtu-Agent: Scaling Agent Productivity with Automated Generation and Hybrid Policy Optimization
von: Shi, Yuchen, et al.
Veröffentlicht: (2025)

Unraveling the Mystery of Scaling Laws: Part I
von: Su, Hui, et al.
Veröffentlicht: (2024)

Towards a Comprehensive Scaling Law of Mixture-of-Experts
von: Zhao, Guoliang, et al.
Veröffentlicht: (2025)

Scaling and Transferability of Annealing Strategies in Large Language Model Training
von: Wang, Siqi, et al.
Veröffentlicht: (2025)

Flash Communication: Reducing Tensor Parallelization Bottleneck for Fast Large Language Model Inference
von: Li, Qingyuan, et al.
Veröffentlicht: (2024)

Small but Mighty: Dynamic Wavelet Expert-Guided Fine-Tuning of Large-Scale Models for Optical Remote Sensing Object Segmentation
von: Sun, Yanguang, et al.
Veröffentlicht: (2026)

Differentiable Combinatorial Scheduling at Scale
von: Liu, Mingju, et al.
Veröffentlicht: (2024)

Decoding TRON: A Comprehensive Framework for Large-Scale Blockchain Data Extraction and Exploration
von: Mao, Qian'ang, et al.
Veröffentlicht: (2025)

Simple Agents Outperform Experts in Biomedical Imaging Workflow Optimization
von: Xuefei, et al.
Veröffentlicht: (2025)

Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation
von: Chen, Yilong, et al.
Veröffentlicht: (2026)

Mixed-Precision Embeddings for Large-Scale Recommendation Models
von: Li, Shiwei, et al.
Veröffentlicht: (2024)

A Survey on LLM Mid-Training
von: Tu, Chengying, et al.
Veröffentlicht: (2025)

Comments on “Long‐term use of low‐dose aspirin for cancer prevention: A 20‐year longitudinal cohort study of 1,506,525 Hong Kong residents”
von: Linkun Shen, et al.
Veröffentlicht: (2025)

EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
von: Sun, Haotian, et al.
Veröffentlicht: (2024)

Should Benevolent Deception be Allowed in EHMI? A Mechanism Explanation Based on Game Theory
von: Liu, Linkun, et al.
Veröffentlicht: (2025)

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models
von: Wang, Hongyu, et al.
Veröffentlicht: (2025)

Large-Scale Diverse Synthesis for Mid-Training
von: Zhang, Xuemiao, et al.
Veröffentlicht: (2025)

MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
von: Zhu, Ruidong, et al.
Veröffentlicht: (2025)