Buchumschlag

Model Merging in Pre-training of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Yunshui, Ma, Yiyuan, Yan, Shen, Zhang, Chaoyi, Liu, Jing, Lu, Jianqiao, Xu, Ziwen, Chen, Mengzhao, Wang, Minrui, Zhan, Shiyi, Ma, Jin, Lai, Xunhao, Liu, Deyi, Luo, Yao, Bin, Xingyan, Ren, Hongbin, Han, Mingji, Hao, Wenhao, Yi, Bairen, Liu, LingJun, Ma, Bole, Jia, Xiaoying, Zhou, Xun, Qiao, Siyuan, Xiang, Liang, Wu, Yonghui
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
von: Lai, Xunhao, et al.
Veröffentlicht: (2025)

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning
von: Yu, Qifan, et al.
Veröffentlicht: (2026)

MergeMoE: Efficient Compression of MoE Models via Expert Output Merging
von: Miao, Ruijie, et al.
Veröffentlicht: (2025)

Balanced Actor Initialization: Stable RLHF Training of Distillation-Based Reasoning Models
von: Zheng, Chen, et al.
Veröffentlicht: (2025)

GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
von: Zheng, Chen, et al.
Veröffentlicht: (2025)

Scaling Law for Quantization-Aware Training
von: Chen, Mengzhao, et al.
Veröffentlicht: (2025)

INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats
von: Chen, Mengzhao, et al.
Veröffentlicht: (2025)

The capability of 20th‐century reanalyses to reproduce the spatiotemporal variation in surface incident solar radiation over Japan for 1931–2010
von: Han Liu, et al.
Veröffentlicht: (2024)

LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
von: Ouyang, Xu, et al.
Veröffentlicht: (2026)

Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss
von: Lv, Ang, et al.
Veröffentlicht: (2025)

Vector Quantized-Aided XL-MIMO CSI Feedback with Channel Adaptive Transmission
von: Ma, Yuhang, et al.
Veröffentlicht: (2026)

LED-Merging: Mitigating Safety-Utility Conflicts in Model Merging with Location-Election-Disjoint
von: Ma, Qianli, et al.
Veröffentlicht: (2025)

Enhancing Linear Attention with Residual Learning
von: Lai, Xunhao, et al.
Veröffentlicht: (2025)

Leyline: KV Cache Directives for Agentic Inference
von: Ma, Bole, et al.
Veröffentlicht: (2026)

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving
von: Ma, Bole, et al.
Veröffentlicht: (2026)

Flow matching-based generative models for MIMO channel estimation
von: Liu, Wenkai, et al.
Veröffentlicht: (2025)

Decouple-Then-Merge: Finetune Diffusion Models as Multi-Task Learning
von: Ma, Qianli, et al.
Veröffentlicht: (2024)

Combinatorial proofs on the joint distribution of descents and inverse descents
von: Li, Frank Z. K., et al.
Veröffentlicht: (2022)

Action-Aware Generative Sequence Modeling for Short Video Recommendation
von: Li, Wenhao, et al.
Veröffentlicht: (2026)

Differences in Text Generated by Diffusion and Autoregressive Language Models
von: Zhang, Zeyang, et al.
Veröffentlicht: (2026)

The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures
von: Ma, Bole, et al.
Veröffentlicht: (2026)

Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory
von: Ma, Bole, et al.
Veröffentlicht: (2026)

Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics
von: Ma, Bole, et al.
Veröffentlicht: (2026)

Visual-RolePlay: Universal Jailbreak Attack on MultiModal Large Language Models via Role-playing Image Character
von: Ma, Siyuan, et al.
Veröffentlicht: (2024)

Continual Learning-Aided Super-Resolution Scheme for Channel Reconstruction and Generalization in OFDM Systems
von: Chen, Jianqiao, et al.
Veröffentlicht: (2025)

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging
von: Wang, Bowen, et al.
Veröffentlicht: (2025)

A sustainable strategy for biosynthesis of Rebaudioside D using a novel glycosyltransferase of Solanum tuberosum
von: Siyuan Ma, et al.
Veröffentlicht: (2024)

In-Model Merging for Enhancing the Robustness of Medical Imaging Classification Models
von: Wang, Hu, et al.
Veröffentlicht: (2025)

Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks
von: Jia, Mengzhao, et al.
Veröffentlicht: (2024)

Orthogonal Model Merging
von: Yang, Sihan, et al.
Veröffentlicht: (2026)

Enhanced Pothole Detection in Complex Environments Using ARCH‐RTDETR : A Lightweight and Efficient Approach
von: Zhihai Liu, et al.
Veröffentlicht: (2026)

A cutting-surface consensus approach for distributed robust optimization of multi-agent systems
von: Fu, Jun, et al.
Veröffentlicht: (2023)

Clinical manifestation and outcome of lung cancer patients with ocular metastasis: 16 case reports and systematic review
von: Yunxin Liu, et al.
Veröffentlicht: (2024)

LFED: A Literary Fiction Evaluation Dataset for Large Language Models
von: Yu, Linhao, et al.
Veröffentlicht: (2024)

BioMetadata: How to describe Biological data lecture for the Summer school of multi-omics (UFZ) - NFDI4Microbiota
von: Bole, Martin
Veröffentlicht: (2025)

Foundation Models for Geophysics: Review and Perspective
von: Liu, Qi, et al.
Veröffentlicht: (2024)

Unifying AMP Algorithms for Rotationally-Invariant Models
von: Liu, Songbin, et al.
Veröffentlicht: (2024)

MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging
von: Li, Siyuan, et al.
Veröffentlicht: (2025)

Language Models and Cycle Consistency for Self-Reflective Machine Translation
von: Wangni, Jianqiao
Veröffentlicht: (2024)

Safe Planner: Empowering Safety Awareness in Large Pre-Trained Models for Robot Task Planning
von: Li, Siyuan, et al.
Veröffentlicht: (2024)