Training Dynamics of In-Context Learning in Linear Attention

Ähnliche Einträge

• Understanding Unimodal Bias in Multimodal Deep Linear Networks
  von: Zhang, Yedi, et al.
  Veröffentlicht: (2023)
• When Are Bias-Free ReLU Networks Effectively Linear Networks?
  von: Zhang, Yedi, et al.
  Veröffentlicht: (2024)
• Saddle-to-Saddle Dynamics Explains A Simplicity Bias Across Neural Network Architectures
  von: Zhang, Yedi, et al.
  Veröffentlicht: (2025)
• Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent
  von: Dragutinović, Sara, et al.
  Veröffentlicht: (2025)
• Distinct Computations Emerge From Compositional Curricula in In-Context Learning
  von: Lee, Jin Hwa, et al.
  Veröffentlicht: (2025)