Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yin, Lu, Wu, You, Zhang, Zhenyu, Hsieh, Cheng-Yu, Wang, Yaqing, Jia, Yiling, Li, Gen, Jaiswal, Ajay, Pechenizkiy, Mykola, Liang, Yi, Bendersky, Michael, Wang, Zhangyang, Liu, Shiwei
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2310.05175