Faster Inference of LLMs using FP8 on the Intel Gaudi

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Joonhyung, Markovich-Golan, Shmulik, Ohayon, Daniel, Hanani, Yair, Park, Gunho, Kim, Byeongwook, Karnieli, Asaf, Livne, Uri, Shen, Haihao, Huang, Tai, Kwon, Se Jung, Lee, Dongsoo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Hardware Architecture
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Online

https://arxiv.org/abs/2503.09975