Buchumschlag

Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Yuxin, Zhao, Lirui, Lin, Mingbao, Sun, Yunyun, Yao, Yiwu, Han, Xingjia, Tanner, Jared, Liu, Shiwei, Ji, Rongrong
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models
von: Lin, Zhihang, et al.
Veröffentlicht: (2025)

UniPTS: A Unified Framework for Proficient Post-Training Sparsity
von: Xie, Jingjing, et al.
Veröffentlicht: (2024)

Dynamic Low-Rank Sparse Adaptation for Large Language Models
von: Huang, Weizhong, et al.
Veröffentlicht: (2025)

ObjectAdd: Adding Objects into Image via a Training-Free Diffusion Modification Fashion
von: Zhang, Ziyue, et al.
Veröffentlicht: (2024)

Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution
von: Xiao, Qiao, et al.
Veröffentlicht: (2025)

HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention
von: Zheng, Xuzhe, et al.
Veröffentlicht: (2026)

EBFT: Effective and Block-Wise Fine-Tuning for Sparse LLMs
von: Guo, Song, et al.
Veröffentlicht: (2024)

How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs
von: Dent, Emily, et al.
Veröffentlicht: (2026)

Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation
von: Xie, Jingjing, et al.
Veröffentlicht: (2024)

Training Long-Context LLMs Efficiently via Chunk-wise Optimization
von: Li, Wenhao, et al.
Veröffentlicht: (2025)

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention
von: Xu, Hongtao, et al.
Veröffentlicht: (2026)

Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference
von: Lin, Zhihang, et al.
Veröffentlicht: (2024)

NeuroTrails: Training with Dynamic Sparse Heads as the Key to Effective Ensembling
von: Grooten, Bram, et al.
Veröffentlicht: (2025)

AccDiffusion v2: Towards More Accurate Higher-Resolution Diffusion Extrapolation
von: Lin, Zhihang, et al.
Veröffentlicht: (2024)

AnySR: Realizing Image Super-Resolution as Any-Scale, Any-Resource
von: Zhan, Wengyi, et al.
Veröffentlicht: (2024)

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model
von: Zhao, Lirui, et al.
Veröffentlicht: (2024)

Dynamic Gradient Sparse Update for Edge Training
von: Li, I-Hsuan, et al.
Veröffentlicht: (2025)

Chipmunk: Training-Free Acceleration of Diffusion Transformers with Dynamic Column-Sparse Deltas
von: Silveria, Austin, et al.
Veröffentlicht: (2025)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

CutDiffusion: A Simple, Fast, Cheap, and Strong Diffusion Extrapolation Method
von: Lin, Mingbao, et al.
Veröffentlicht: (2024)

Characterizing the Training Dynamics of Private Fine-tuning with Langevin diffusion
von: Ke, Shuqi, et al.
Veröffentlicht: (2024)

Gradient-Congruity Guided Federated Sparse Training
von: Tian, Chris Xing, et al.
Veröffentlicht: (2024)

Dynamic Sparse Training versus Dense Training: The Unexpected Winner in Image Corruption Robustness
von: Wu, Boqian, et al.
Veröffentlicht: (2024)

Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study
von: Zhao, Lirui, et al.
Veröffentlicht: (2023)

Pre-Trained Model Recommendation for Downstream Fine-tuning
von: Bai, Jiameng, et al.
Veröffentlicht: (2024)

Efficient Model Editing with Task-Localized Sparse Fine-tuning
von: Iurada, Leonardo, et al.
Veröffentlicht: (2025)

HASTE: Hardware-Aware Dynamic Sparse Training for Large Output Spaces
von: Ullah, Nasib, et al.
Veröffentlicht: (2026)

SparseGrad: A Selective Method for Efficient Fine-tuning of MLP Layers
von: Chekalina, Viktoriia, et al.
Veröffentlicht: (2024)

DynST: Dynamic Sparse Training for Resource-Constrained Spatio-Temporal Forecasting
von: Wu, Hao, et al.
Veröffentlicht: (2024)

DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model
von: Zhao, Lirui, et al.
Veröffentlicht: (2024)

Topology-Aware Revival for Efficient Sparse Training
von: Jin, Meiling, et al.
Veröffentlicht: (2026)

Outlier-weighed Layerwise Sampling for LLM Fine-tuning
von: Li, Pengxiang, et al.
Veröffentlicht: (2024)

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps
von: Zhou, Yanke, et al.
Veröffentlicht: (2026)

Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
von: Pan, Bowen, et al.
Veröffentlicht: (2024)

OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs
von: Chen, Feng, et al.
Veröffentlicht: (2025)

UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs
von: Li, Wenhao, et al.
Veröffentlicht: (2024)

Post-Training Sparse Attention with Double Sparsity
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
von: Xiao, Chaojun, et al.
Veröffentlicht: (2024)

AccDiffusion: An Accurate Method for Higher-Resolution Image Generation
von: Lin, Zhihang, et al.
Veröffentlicht: (2024)

Enhancing Multiple Dimensions of Trustworthiness in LLMs via Sparse Activation Control
von: Xiao, Yuxin, et al.
Veröffentlicht: (2024)