Prediction hubs are context-informed frequent tokens in LLMs

Documenti analoghi

• Not a nuisance but a useful heuristic: Outlier dimensions favor frequent tokens in language models
  di: Macocco, Iuri, et al.
  Pubblicazione: (2025)
• Tracing Computation Density in LLMs
  di: Kervadec, Corentin, et al.
  Pubblicazione: (2026)
• Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
  di: Gemini Team, et al.
  Pubblicazione: (2024)
• AnomaLLMy -- Detecting anomalous tokens in black-box LLMs through low-confidence single-token predictions
  di: Witold, Waligóra
  Pubblicazione: (2024)
• Jacobian Scopes: token-level causal attributions in LLMs
  di: Liu, Toni J. B., et al.
  Pubblicazione: (2026)