Buchumschlag

Sparsity-Accelerated Training for Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ma, Da, Chen, Lu, Wang, Pengyu, Xu, Hongshen, Li, Hanqi, Sun, Liangtai, Zhu, Su, Fan, Shuai, Yu, Kai
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Evolving Subnetwork Training for Large Language Models
von: Li, Hanqi, et al.
Veröffentlicht: (2024)

Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback
von: Xu, Hongshen, et al.
Veröffentlicht: (2024)

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
von: Ma, Da, et al.
Veröffentlicht: (2024)

SciDFM: A Large Language Model with Mixture-of-Experts for Science
von: Sun, Liangtai, et al.
Veröffentlicht: (2024)

Multilingual Brain Surgeon: Large Language Models Can be Compressed Leaving No Language Behind
von: Zeng, Hongchuan, et al.
Veröffentlicht: (2024)

Developing ChemDFM as a large language foundation model for chemistry
von: Zhao, Zihan, et al.
Veröffentlicht: (2024)

SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research
von: Sun, Liangtai, et al.
Veröffentlicht: (2023)

Alignment for Efficient Tool Calling of Large Language Models
von: Xu, Hongshen, et al.
Veröffentlicht: (2025)

A BiRGAT Model for Multi-intent Spoken Language Understanding with Hierarchical Semantic Frames
von: Xu, Hongshen, et al.
Veröffentlicht: (2024)

DiSRouter: Distributed Self-Routing for LLM Selections
von: Zheng, Hang, et al.
Veröffentlicht: (2025)

Reducing Tool Hallucination via Reliability Alignment
von: Xu, Hongshen, et al.
Veröffentlicht: (2024)

When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models
von: Zheng, Yingming, et al.
Veröffentlicht: (2025)

NeuSym-RAG: Hybrid Neural Symbolic Retrieval with Multiview Structuring for PDF Question Answering
von: Cao, Ruisheng, et al.
Veröffentlicht: (2025)

Delusions of Large Language Models
von: Xu, Hongshen, et al.
Veröffentlicht: (2025)

META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI
von: Sun, Liangtai, et al.
Veröffentlicht: (2022)

Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
von: Xu, Hongshen, et al.
Veröffentlicht: (2024)

CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis
von: Xu, Xinzhe, et al.
Veröffentlicht: (2025)

LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model
von: Shao, Wei, et al.
Veröffentlicht: (2025)

CAST: Continuous and Differentiable Semi-Structured Sparsity-Aware Training for Large Language Models
von: Huang, Weiyu, et al.
Veröffentlicht: (2025)

CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions
von: Zhang, Hanchong, et al.
Veröffentlicht: (2024)

Sparsity Induction for Accurate Post-Training Pruning of Large Language Models
von: Jiang, Minhao, et al.
Veröffentlicht: (2026)

Training-Free Activation Sparsity in Large Language Models
von: Liu, James, et al.
Veröffentlicht: (2024)

Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling
von: Zheng, Hang, et al.
Veröffentlicht: (2025)

SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation
von: Zhu, Zichen, et al.
Veröffentlicht: (2024)

Learn To be Efficient: Build Structured Sparsity in Large Language Models
von: Zheng, Haizhong, et al.
Veröffentlicht: (2024)

Accelerating Clinical Evidence Synthesis with Large Language Models
von: Wang, Zifeng, et al.
Veröffentlicht: (2024)

Uncertainty Quantification for Clinical Outcome Predictions with (Large) Language Models
von: Chen, Zizhang, et al.
Veröffentlicht: (2024)

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training
von: Li, Jiacheng, et al.
Veröffentlicht: (2026)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression
von: Hou, Haowen, et al.
Veröffentlicht: (2024)

Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
von: Luo, Yuqi, et al.
Veröffentlicht: (2024)

Soft Reasoning: Navigating Solution Spaces in Large Language Models through Controlled Embedding Exploration
von: Zhu, Qinglin, et al.
Veröffentlicht: (2025)

BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation
von: Xu, Peng, et al.
Veröffentlicht: (2024)

ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
von: Song, Chenyang, et al.
Veröffentlicht: (2024)

LLM-Barber: Block-Aware Rebuilder for Sparsity Mask in One-Shot for Large Language Models
von: Su, Yupeng, et al.
Veröffentlicht: (2024)

UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training
von: Deng, Keqi, et al.
Veröffentlicht: (2026)

Response Attack: Exploiting Contextual Priming to Jailbreak Large Language Models
von: Miao, Ziqi, et al.
Veröffentlicht: (2025)

VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
von: Tu, Dezhan, et al.
Veröffentlicht: (2024)

THRD: A Training-Free Multi-Turn Defense Framework for Jailbreak Attacks on Large Language Models
von: Ma, Zhiqing, et al.
Veröffentlicht: (2026)