Tandem Transformers for Inference Efficient LLMs

Documenti analoghi

• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference
  di: L, Yashas Samaga B, et al.
  Pubblicazione: (2024)
• A Faster Generalized Two-Stage Approximate Top-K
  di: Samaga, Yashas, et al.
  Pubblicazione: (2025)
• A model of errors in transformers
  di: Raju, Suvrat, et al.
  Pubblicazione: (2026)
• CDQuant: Greedy Coordinate Descent for Accurate LLM Quantization
  di: Nair, Pranav Ajit, et al.
  Pubblicazione: (2024)
• Regression-aware Inference with LLMs
  di: Lukasik, Michal, et al.
  Pubblicazione: (2024)