Buchumschlag

Adaptive Pruning of Pretrained Transformer via Differential Inclusions

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ding, Yizhuo, Fan, Ke, Wang, Yikai, Sun, Xinwei, Fu, Yanwei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

UniPruning: Unifying Local Metric and Global Feedback for Scalable Sparse LLMs
von: Ding, Yizhuo, et al.
Veröffentlicht: (2025)

Revisiting Large Language Model Pruning using Neuron Semantic Attribution
von: Ding, Yizhuo, et al.
Veröffentlicht: (2025)

NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation
von: Huo, Jingyang, et al.
Veröffentlicht: (2024)

Doubly Robust Proximal Causal Learning for Continuous Treatments
von: Wu, Yong, et al.
Veröffentlicht: (2023)

Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior
von: Zhang, Mingxuan, et al.
Veröffentlicht: (2024)

Robust Network Learning via Inverse Scale Variational Sparsification
von: Zhou, Zhiling, et al.
Veröffentlicht: (2024)

A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs
von: Wan, Chang, et al.
Veröffentlicht: (2025)

Discovering Causal Relationships using Proxy Variables under Unmeasured Confounding
von: Wu, Yong, et al.
Veröffentlicht: (2025)

Understanding Differential Transformer Unchains Pretrained Self-Attentions
von: Kong, Chaerin, et al.
Veröffentlicht: (2025)

ADEPT: Continual Pretraining via Adaptive Expansion and Dynamic Decoupled Tuning
von: Zhang, Jinyang, et al.
Veröffentlicht: (2025)

APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
von: Zhao, Bowen, et al.
Veröffentlicht: (2024)

COSMO-RL: Towards Trustworthy LMRMs via Joint Safety and Stability
von: Ding, Yizhuo, et al.
Veröffentlicht: (2025)

Adaptive Computation Pruning for the Forgetting Transformer
von: Lin, Zhixuan, et al.
Veröffentlicht: (2025)

IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
von: Li, Yixiao, et al.
Veröffentlicht: (2025)

Task-Adaptive Pretrained Language Models via Clustered-Importance Sampling
von: Grangier, David, et al.
Veröffentlicht: (2024)

Projection-Free CNN Pruning via Frank-Wolfe with Momentum: Sparser Models with Less Pretraining
von: Shili, Hamza ElMokhtar, et al.
Veröffentlicht: (2025)

SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
von: Yasuda, Taisuke, et al.
Veröffentlicht: (2024)

Adaptive Slot Attention: Object Discovery with Dynamic Slot Number
von: Fan, Ke, et al.
Veröffentlicht: (2024)

Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
von: Yue, Yanwei, et al.
Veröffentlicht: (2024)

Dataset Condensation for Time Series Classification via Dual Domain Matching
von: Liu, Zhanyu, et al.
Veröffentlicht: (2024)

Demystifying When Pruning Works via Representation Hierarchies
von: He, Shwai, et al.
Veröffentlicht: (2026)

Spiking Layer-Adaptive Magnitude-based Pruning
von: Wang, Junqiao, et al.
Veröffentlicht: (2026)

ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
von: Liu, Lawrence, et al.
Veröffentlicht: (2025)

TapWeight: Reweighting Pretraining Objectives for Task-Adaptive Pretraining
von: Zhang, Ruiyi, et al.
Veröffentlicht: (2024)

Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
von: Li, Albus Yizhuo, et al.
Veröffentlicht: (2026)

GRAPE: Optimize Data Mixture for Group Robust Multi-target Adaptive Pretraining
von: Fan, Simin, et al.
Veröffentlicht: (2025)

TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers
von: Wang, Zhibo, et al.
Veröffentlicht: (2026)

Non-transferable Pruning
von: Ding, Ruyi, et al.
Veröffentlicht: (2024)

Distributional Reinforcement Learning with Diffusion Bridge Critics
von: Ding, Shutong, et al.
Veröffentlicht: (2026)

Pruning and Malicious Injection: A Retraining-Free Backdoor Attack on Transformer Models
von: Zhao, Taibiao, et al.
Veröffentlicht: (2025)

Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum
von: Li, Jingru, et al.
Veröffentlicht: (2026)

Heterogeneous Graph Prompt Learning via Adaptive Weight Pruning
von: Wei, Chu-Yuan, et al.
Veröffentlicht: (2025)

Unified Lexical Representation for Interpretable Visual-Language Alignment
von: Li, Yifan, et al.
Veröffentlicht: (2024)

Self-supervised Pretraining for Partial Differential Equations
von: Madhavan, Varun, et al.
Veröffentlicht: (2024)

MaSS: Multi-attribute Selective Suppression for Utility-preserving Data Transformation from an Information-theoretic Perspective
von: Chen, Yizhuo, et al.
Veröffentlicht: (2024)

SAP: Syntactic Attention Pruning for Transformer-based Language Models
von: Lee, Tzu-Yun, et al.
Veröffentlicht: (2025)

EfficientLLM: Scalable Pruning-Aware Pretraining for Architecture-Agnostic Edge Language Models
von: Xing, Xingrun, et al.
Veröffentlicht: (2025)

Causal Discovery via Conditional Independence Testing with Proxy Variables
von: Liu, Mingzhou, et al.
Veröffentlicht: (2023)

Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing
von: Le, Qi, et al.
Veröffentlicht: (2025)

Improving DNS Exfiltration Detection via Transformer Pretraining
von: Tomić, Miloš, et al.
Veröffentlicht: (2026)