Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent

Ähnliche Einträge

• Strategy Coopetition Explains the Emergence and Transience of In-Context Learning
  von: Singh, Aaditya K., et al.
  Veröffentlicht: (2025)
• What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation
  von: Singh, Aaditya K., et al.
  Veröffentlicht: (2024)
• On the rate of convergence of an over-parametrized Transformer classifier learned by gradient descent
  von: Kohler, Michael, et al.
  Veröffentlicht: (2023)
• Training Dynamics of In-Context Learning in Linear Attention
  von: Zhang, Yedi, et al.
  Veröffentlicht: (2025)
• The broader spectrum of in-context learning
  von: Lampinen, Andrew Kyle, et al.
  Veröffentlicht: (2024)