An Interpretable Latency Model for Speculative Decoding in LLM Serving

Fuente: arXiv
Salvato in:
Dettagli Bibliografici
Autori principali: Kong, Linghao, Flynn, Megan, Peng, Michael, Shavit, Nir, Kurtz, Mark, Marques, Alexandre
Natura: Preprint
Pubblicazione: 2026
Soggetti:
Accesso online:
Tags: Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!