Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chen, Anrui, Huang, Ruijun, Zhang, Xin, Dong, Fang, Cao, Hengjie, Huang, Zhendong, Yang, Yifeng, Chen, Mengyi, Zhou, Jixian, Dong, Mingzhi, Wang, Yujiang, Hou, Jinlong, Lv, Qin, Dick, Robert P., Cheng, Yuan, Lu, Tun, Yang, Fan, Shang, Li
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Accesso online

https://arxiv.org/abs/2602.12587