Buchumschlag

Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Mingxuan, Sun, Yan, Liang, Faming
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Uncertainty Quantification for Large-Scale Deep Networks via Post-StoNet Modeling
von: Sun, Yan, et al.
Veröffentlicht: (2025)

Adaptive Pruning of Pretrained Transformer via Differential Inclusions
von: Ding, Yizhuo, et al.
Veröffentlicht: (2025)

Pruning and Malicious Injection: A Retraining-Free Backdoor Attack on Transformer Models
von: Zhao, Taibiao, et al.
Veröffentlicht: (2025)

PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
von: Wei, Yuan-Hao, et al.
Veröffentlicht: (2026)

Structured Diffusion Models with Mixture of Gaussians as Prior Distribution
von: Jia, Nanshan, et al.
Veröffentlicht: (2024)

Extended Fiducial Inference: Toward an Automated Process of Statistical Inference
von: Liang, Faming, et al.
Veröffentlicht: (2024)

Federated Gaussian Mixture Models
von: Pettersson, Sophia Zhang, et al.
Veröffentlicht: (2025)

Spiking Layer-Adaptive Magnitude-based Pruning
von: Wang, Junqiao, et al.
Veröffentlicht: (2026)

Insights into the Lottery Ticket Hypothesis and Iterative Magnitude Pruning
von: Saleem, Tausifa Jan, et al.
Veröffentlicht: (2024)

EfficientLLM: Scalable Pruning-Aware Pretraining for Architecture-Agnostic Edge Language Models
von: Xing, Xingrun, et al.
Veröffentlicht: (2025)

IPPRO: Importance-based Pruning with PRojective Offset for Magnitude-indifferent Structural Pruning
von: Jung, Jaeheun, et al.
Veröffentlicht: (2025)

Causal-StoNet: Causal Inference for High-Dimensional Complex Data
von: Fang, Yaxin, et al.
Veröffentlicht: (2024)

Efficient Training of Large-Scale AI Models Through Federated Mixture-of-Experts: A System-Level Approach
von: Chen, Xiaobing, et al.
Veröffentlicht: (2025)

Magnitude-based Neuron Pruning for Backdoor Defens
von: Li, Nan, et al.
Veröffentlicht: (2024)

Combining Relevance and Magnitude for Resource-Aware DNN Pruning
von: Chiasserini, Carla Fabiana, et al.
Veröffentlicht: (2024)

Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
von: Lu, Xudong, et al.
Veröffentlicht: (2024)

Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
von: Choi, Moonseok, et al.
Veröffentlicht: (2023)

End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler
von: Blessing, Denis, et al.
Veröffentlicht: (2025)

The VampPrior Mixture Model
von: Stirn, Andrew A., et al.
Veröffentlicht: (2024)

Fast Value Tracking for Deep Reinforcement Learning
von: Shih, Frank, et al.
Veröffentlicht: (2024)

Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations
von: Dong, Zican, et al.
Veröffentlicht: (2025)

Certified Robustness from Approximate Gaussian Mixture Structures in Pretrained Latent Spaces
von: Emmanouilidis, Konstantinos, et al.
Veröffentlicht: (2026)

Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
von: Gupta, Manas, et al.
Veröffentlicht: (2022)

Mixture of Length and Pruning Experts for Knowledge Graphs Reasoning
von: Du, Enjun, et al.
Veröffentlicht: (2025)

IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
von: Li, Yixiao, et al.
Veröffentlicht: (2025)

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
von: Hu, Wentao, et al.
Veröffentlicht: (2025)

Extended Fiducial Inference for Individual Treatment Effects via Deep Neural Networks
von: Kim, Sehwan, et al.
Veröffentlicht: (2025)

Efficient Reinforcement Learning with Large Language Model Priors
von: Yan, Xue, et al.
Veröffentlicht: (2024)

Uncertainty Quantification for Physics-Informed Neural Networks with Extended Fiducial Inference
von: Shih, Frank, et al.
Veröffentlicht: (2025)

FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing
von: Zhang, Boyang, et al.
Veröffentlicht: (2025)

Transformers as Unsupervised Learning Algorithms: A study on Gaussian Mixtures
von: Chen, Zhiheng, et al.
Veröffentlicht: (2025)

On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
von: Redman, William T., et al.
Veröffentlicht: (2024)

Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection
von: Adams, Steven, et al.
Veröffentlicht: (2024)

FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning
von: Herzog, Alexander, et al.
Veröffentlicht: (2024)

Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors
von: Sefidgaran, Milad, et al.
Veröffentlicht: (2025)

MC#: Mixture Compressor for Mixture-of-Experts Large Models
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
von: Zhou, Yijia, et al.
Veröffentlicht: (2023)

Deep Survival Analysis for Competing Risk Modeling with Functional Covariates and Missing Data Imputation
von: Gao, Penglei, et al.
Veröffentlicht: (2025)

Whitening Spherical Gaussian Mixtures in the Large-Dimensional Regime
von: Boudjemaa, Mohammed Racim Moussa, et al.
Veröffentlicht: (2025)

Model Selection and Parameter Estimation of Multi-dimensional Gaussian Mixture Model
von: Liu, Xinyu, et al.
Veröffentlicht: (2026)