Buchumschlag

Unlocking Efficient Long-to-Short LLM Reasoning with Model Merging

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wu, Han, Yao, Yuxuan, Liu, Shuqi, Liu, Zehua, Fu, Xiaojin, Han, Xiongwei, Li, Xing, Zhen, Hui-Ling, Zhong, Tao, Yuan, Mingxuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

REG: A Regularization Optimizer for Robust Training Dynamics
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

1bit-Merging: Dynamic Quantized Merging for Large Language Models
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

Sens-Merging: Sensitivity-Guided Parameter Balancing for Merging Large Language Models
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

Activation-Guided Consensus Merging for Large Language Models
von: Yao, Yuxuan, et al.
Veröffentlicht: (2025)

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning
von: Liu, Zehua, et al.
Veröffentlicht: (2026)

Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations
von: Yao, Yuxuan, et al.
Veröffentlicht: (2026)

Learning From Correctness Without Prompting Makes LLM Efficient Reasoner
von: Yao, Yuxuan, et al.
Veröffentlicht: (2024)

TrimR: Verifier-based Training-Free Thinking Compression for Efficient Test-Time Scaling
von: Lin, Weizhe, et al.
Veröffentlicht: (2025)

MOSS: Efficient and Accurate FP8 LLM Training with Microscaling and Automatic Scaling
von: Zhang, Yu, et al.
Veröffentlicht: (2025)

Beyond Speedup -- Utilizing KV Cache for Sampling and Reasoning
von: Xing, Zeyu, et al.
Veröffentlicht: (2026)

Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimization
von: He, Bowei, et al.
Veröffentlicht: (2025)

FocuSFT: Bilevel Optimization for Dilution-Aware Long-Context Fine-Tuning
von: Pei, Zehua, et al.
Veröffentlicht: (2026)

KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
von: Li, Xing, et al.
Veröffentlicht: (2025)

BetterV: Controlled Verilog Generation with Discriminative Guidance
von: Pei, Zehua, et al.
Veröffentlicht: (2024)

BPP-Search: Enhancing Tree of Thought Reasoning for Mathematical Modeling Problem Solving
von: Wang, Teng, et al.
Veröffentlicht: (2024)

SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
von: Yankun, Hong, et al.
Veröffentlicht: (2025)

Large Language Models are Good Multi-lingual Learners : When LLMs Meet Cross-lingual Prompts
von: Wang, Teng, et al.
Veröffentlicht: (2024)

DiLA: Enhancing LLM Tool Learning with Differential Logic Layer
von: Zhang, Yu, et al.
Veröffentlicht: (2024)

MixPE: Quantization and Hardware Co-design for Efficient LLM Inference
von: Zhang, Yu, et al.
Veröffentlicht: (2024)

Decision Information Meets Large Language Models: The Future of Explainable Operations Research
von: Zhang, Yansen, et al.
Veröffentlicht: (2025)

PreMoE: Proactive Inference for Efficient Mixture-of-Experts
von: Pei, Zehua, et al.
Veröffentlicht: (2025)

Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling
von: Yao, Yuxuan, et al.
Veröffentlicht: (2024)

SAC-Opt: Semantic Anchors for Iterative Correction in Optimization Modeling
von: Zhang, Yansen, et al.
Veröffentlicht: (2025)

Opt-Verifier: Unleashing the Power of LLMs for Optimization Modeling via Dual-Side Verification
von: Liu, Haoyang, et al.
Veröffentlicht: (2026)

Automated Optimization Modeling via a Localizable Error-Driven Perspective
von: Liu, Weiting, et al.
Veröffentlicht: (2026)

Behavioral Fingerprinting of Large Language Models
von: Pei, Zehua, et al.
Veröffentlicht: (2025)

ARS: Automatic Routing Solver with Large Language Models
von: Li, Kai, et al.
Veröffentlicht: (2025)

Verilog-Evolve: Feedback-Driven and Skill-Evolving Verilog Generation
von: Pei, Zehua, et al.
Veröffentlicht: (2026)

From Pruning to Grafting: Dynamic Knowledge Redistribution via Learnable Layer Fusion
von: Pei, Zehua, et al.
Veröffentlicht: (2024)

Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately
von: Wang, Yuhang, et al.
Veröffentlicht: (2025)

Grassland: A Rapid Algebraic Modeling System for Million-variable Optimization
von: Li, Xihan, et al.
Veröffentlicht: (2021)

Analytical FFN-to-MoE Restructuring via Activation Pattern Analysis
von: Pei, Zehua, et al.
Veröffentlicht: (2025)

A Survey of Optimization Modeling Meets LLMs: Progress and Future Directions
von: Xiao, Ziyang, et al.
Veröffentlicht: (2025)

Unconstrained Model Merging for Enhanced LLM Reasoning
von: Zhang, Yiming, et al.
Veröffentlicht: (2024)

SCOPE: Prompt Evolution for Enhancing Agent Effectiveness
von: Pei, Zehua, et al.
Veröffentlicht: (2025)

MemDLM: Memory-Enhanced DLM Training
von: Pei, Zehua, et al.
Veröffentlicht: (2026)

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation
von: Zhao, Weilin, et al.
Veröffentlicht: (2025)

ReThinker: Scientific Reasoning by Rethinking with Guided Reflection and Confidence Control
von: Tang, Zhentao, et al.
Veröffentlicht: (2026)