Buchumschlag

Delving into Muon and Beyond: Deep Analysis and Extensions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qi, Xianbiao, Chen, Marco, Ye, Jiaquan, He, Yelin, Xiao, Rong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SimpleGPT: Improving GPT via A Simple Normalization Strategy
von: Chen, Marco, et al.
Veröffentlicht: (2026)

DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD
von: Qi, Xianbiao, et al.
Veröffentlicht: (2025)

HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
von: Yang, Dongquan, et al.
Veröffentlicht: (2025)

Muon is Scalable for LLM Training
von: Liu, Jingyuan, et al.
Veröffentlicht: (2025)

Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
von: Zhang, Yechen, et al.
Veröffentlicht: (2026)

Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models
von: Juzek, Tom S., et al.
Veröffentlicht: (2024)

DeepCritic: Deliberate Critique with Large Language Models
von: Yang, Wenkai, et al.
Veröffentlicht: (2025)

Taming Transformer Without Using Learning Rate Warmup
von: Qi, Xianbiao, et al.
Veröffentlicht: (2025)

Delving into RL for Image Generation with CoT: A Study on DPO vs. GRPO
von: Tong, Chengzhuo, et al.
Veröffentlicht: (2025)

An Analysis and Mitigation of the Reversal Curse
von: Lv, Ang, et al.
Veröffentlicht: (2023)

Beyond Isolation: Multi-Agent Synergy for Improving Knowledge Graph Construction
von: Ye, Hongbin, et al.
Veröffentlicht: (2023)

Frac-Connections: Fractional Extension of Hyper-Connections
von: Zhu, Defa, et al.
Veröffentlicht: (2025)

Neutral Residues: Revisiting Adapters for Model Extension
von: Talla, Franck Signe, et al.
Veröffentlicht: (2024)

Benchmarking for Domain-Specific LLMs: A Case Study on Academia and Beyond
von: Chen, Rubing, et al.
Veröffentlicht: (2025)

Real Deep Research for AI, Robotics and Beyond
von: Zou, Xueyan, et al.
Veröffentlicht: (2025)

DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments
von: Zheng, Yuxiang, et al.
Veröffentlicht: (2025)

Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
von: Gunjal, Anisha, et al.
Veröffentlicht: (2025)

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility
von: He, Haoyu, et al.
Veröffentlicht: (2025)

Beyond Scalar Reward Model: Learning Generative Judge from Preference Data
von: Ye, Ziyi, et al.
Veröffentlicht: (2024)

Training-Free Exponential Context Extension via Cascading KV Cache
von: Willette, Jeffrey, et al.
Veröffentlicht: (2024)

YaRN: Efficient Context Window Extension of Large Language Models
von: Peng, Bowen, et al.
Veröffentlicht: (2023)

Beyond Correlation: Refutation-Validated Aspect-Based Sentiment Analysis for Explainable Energy Market Returns
von: van der Heever, Wihan, et al.
Veröffentlicht: (2026)

Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation
von: Zhang, Wenbo, et al.
Veröffentlicht: (2025)

CORI: CJKV Benchmark with Romanization Integration -- A step towards Cross-lingual Transfer Beyond Textual Scripts
von: Nguyen, Hoang H., et al.
Veröffentlicht: (2024)

A Theoretical Understanding of Chain-of-Thought: Coherent Reasoning and Error-Aware Demonstration
von: Cui, Yingqian, et al.
Veröffentlicht: (2024)

CogAtom: From Cognitive Atoms to Olympiad-level Mathematical Reasoning in Large Language Models
von: Chen, Zhuofan, et al.
Veröffentlicht: (2025)

Beyond Introspection: Reinforcing Thinking via Externalist Behavioral Feedback
von: Yang, Diji, et al.
Veröffentlicht: (2024)

SpanNorm: Reconciling Training Stability and Performance in Deep Transformers
von: Wang, Chao, et al.
Veröffentlicht: (2026)

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
von: Fu, Yonggan, et al.
Veröffentlicht: (2025)

DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
von: Bhattacharyya, Sree, et al.
Veröffentlicht: (2026)

NOVER: Incentive Training for Language Models via Verifier-Free Reinforcement Learning
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding
von: Yi, Hanling, et al.
Veröffentlicht: (2024)

Deep Dense Exploration for LLM Reinforcement Learning via Pivot-Driven Resampling
von: Guo, Yiran, et al.
Veröffentlicht: (2026)

TTSR: Test-Time Self-Reflection for Continual Reasoning Improvement
von: He, Haoyang, et al.
Veröffentlicht: (2026)

Enhancing Quantitative Reasoning Skills of Large Language Models through Dimension Perception
von: Huang, Yuncheng, et al.
Veröffentlicht: (2023)

SLOT: Sample-specific Language Model Optimization at Test-time
von: Hu, Yang, et al.
Veröffentlicht: (2025)

GoRA: Gradient-driven Adaptive Low Rank Adaptation
von: He, Haonan, et al.
Veröffentlicht: (2025)

Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond
von: Wang, Zhiyuan, et al.
Veröffentlicht: (2024)

ChemAmp: Amplified Chemistry Tools via Composable Agents
von: Li, Zhucong, et al.
Veröffentlicht: (2025)