Buchumschlag

Transformers are Universal In-context Learners

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Furuya, Takashi, de Hoop, Maarten V., Peyré, Gabriel
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Transformers through the lens of support-preserving maps between measures
von: Furuya, Takashi, et al.
Veröffentlicht: (2025)

Training Infinitely Deep and Wide Transformers
von: Barboni, Raphaël, et al.
Veröffentlicht: (2026)

Can neural operators always be continuously discretized?
von: Furuya, Takashi, et al.
Veröffentlicht: (2024)

Function graph transformers universally approximate operators between function spaces
von: Furuya, Takashi, et al.
Veröffentlicht: (2026)

Optimal Transport for Machine Learners
von: Peyré, Gabriel
Veröffentlicht: (2025)

In-context Continual Learning Assisted by an External Continual Learner
von: Momeni, Saleh, et al.
Veröffentlicht: (2024)

Plain Transformers Can be Powerful Graph Learners
von: Ma, Liheng, et al.
Veröffentlicht: (2025)

Auto-Regressive Next-Token Predictors are Universal Learners
von: Malach, Eran
Veröffentlicht: (2023)

Towards Understanding the Universality of Transformers for Next-Token Prediction
von: Sander, Michael E., et al.
Veröffentlicht: (2024)

RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
von: Wen, Kaiyue, et al.
Veröffentlicht: (2024)

Linking In-context Learning in Transformers to Human Episodic Memory
von: Ji-An, Li, et al.
Veröffentlicht: (2024)

Curse of High Dimensionality Issue in Transformer for Long-context Modeling
von: Zhang, Shuhai, et al.
Veröffentlicht: (2025)

Is In-Context Universality Enough? MLPs are Also Universal In-Context
von: Kratsios, Anastasis, et al.
Veröffentlicht: (2025)

Mixture of Experts Softens the Curse of Dimensionality in Operator Learning
von: Kratsios, Anastasis, et al.
Veröffentlicht: (2024)

Semialgebraic Neural Networks: From roots to representations
von: Mis, S. David, et al.
Veröffentlicht: (2025)

Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation
von: Benitez, J. Antonio Lara, et al.
Veröffentlicht: (2023)

Language Models are Symbolic Learners in Arithmetic
von: Deng, Chunyuan, et al.
Veröffentlicht: (2024)

On the Fragility of Active Learners for Text Classification
von: Ghose, Abhishek, et al.
Veröffentlicht: (2024)

Energy-Based Transformers are Scalable Learners and Thinkers
von: Gladstone, Alexi, et al.
Veröffentlicht: (2025)

Breaking through the learning plateaus of in-context learning in Transformer
von: Fu, Jingwen, et al.
Veröffentlicht: (2023)

Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
von: Kraus, Oliver, et al.
Veröffentlicht: (2026)

Are Large Language Models Good Temporal Graph Learners?
von: Huang, Shenyang, et al.
Veröffentlicht: (2025)

Transformative or Conservative? Conservation laws for ResNets and Transformers
von: Marcotte, Sibylle, et al.
Veröffentlicht: (2025)

The broader spectrum of in-context learning
von: Lampinen, Andrew Kyle, et al.
Veröffentlicht: (2024)

Boosting Masked ECG-Text Auto-Encoders as Discriminative Learners
von: Pham, Hung Manh, et al.
Veröffentlicht: (2024)

Mixtures of In-Context Learners
von: Hong, Giwon, et al.
Veröffentlicht: (2024)

Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
von: Xiao, Liu
Veröffentlicht: (2026)

In-context Learning in Presence of Spurious Correlations
von: Harutyunyan, Hrayr, et al.
Veröffentlicht: (2024)

CausalLM is not optimal for in-context learning
von: Ding, Nan, et al.
Veröffentlicht: (2023)

Guideline Learning for In-context Information Extraction
von: Pang, Chaoxu, et al.
Veröffentlicht: (2023)

In-context Learning and Gradient Descent Revisited
von: Deutch, Gilad, et al.
Veröffentlicht: (2023)

Looking Beyond The Top-1: Transformers Determine Top Tokens In Order
von: Lioubashevski, Daria, et al.
Veröffentlicht: (2024)

Towards Modeling Learner Performance with Large Language Models
von: Neshaei, Seyed Parsa, et al.
Veröffentlicht: (2024)

An Evolved Universal Transformer Memory
von: Cetin, Edoardo, et al.
Veröffentlicht: (2024)

Re-examining learning linear functions in context
von: Naim, Omar, et al.
Veröffentlicht: (2024)

Robust Sublinear Convergence Rates for Iterative Bregman Projections
von: Peyré, Gabriel
Veröffentlicht: (2026)

Text clustering applied to data augmentation in legal contexts
von: Freitas, Lucas José Gonçalves, et al.
Veröffentlicht: (2024)

What is Wrong with Perplexity for Long-context Language Modeling?
von: Fang, Lizhe, et al.
Veröffentlicht: (2024)

Sparse Attention across Multiple-context KV Cache
von: Cao, Ziyi, et al.
Veröffentlicht: (2025)

Learning without training: The implicit dynamics of in-context learning
von: Dherin, Benoit, et al.
Veröffentlicht: (2025)