ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs

Fuente: arXiv
Enregistré dans:
Détails bibliographiques
Auteurs principaux: Zhang, Zhengyan, Song, Yixin, Yu, Guanghui, Han, Xu, Lin, Yankai, Xiao, Chaojun, Song, Chenyang, Liu, Zhiyuan, Mi, Zeyu, Sun, Maosong
Format: Preprint
Publié: 2024
Sujets:
Accès en ligne:
Tags: Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!