Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Huang, Xingyue, Ding, Xueying, Ju, Mingxuan, Liu, Yozen, Shah, Neil, Zhao, Tong
Natura: Preprint
Pubblicazione: 2026
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!